Feynman: Knowledge-Infused Diagramming Agent for Scalable Visual Designs

이 논문은 Feynman 이라는 에이전트를 통해 도메인 지식과 코드를 결합하여 대량의 정렬된 다이어그램 - 캡션 데이터셋과 시각적 추론 평가 벤치마크인 Diagramma 를 생성하는 확장 가능한 시각 디자인 파이프라인을 제안합니다.

핵심

🎨 1. 문제: 왜 그림을 그리기가 어려울까요?

지금까지의 AI(챗봇이나 이미지 생성기) 는 두 가지 큰 문제를 겪고 있었습니다.

• 이미지 생성 AI (예: 미드저니): 그림은 정말 예쁘게 그립니다. 하지만 "수학 공식"이나 "화학 반응식"처럼 정확한 논리가 필요한 그림을 그리면, 글자가 엉망이 되거나 중요한 부분이 빠지는 '환각 (Hallucination)' 현상이 발생합니다. 마치 화가 실력은 좋지만, 수학은 전혀 모르는 사람이 수학 교과서를 그린 것과 같습니다.
• 텍스트 기반 AI (예: GPT-4): 지식은 풍부하지만, 직접 그림을 그리거나 코드를 짜는 데는 서툴러서 결과가 엉망이 되거나, 그림이 너무 지저분해 읽을 수 없습니다. 마치 수학 천재지만 손이 매우 덜덜 떨리는 사람이 그림을 그리려는 것과 같습니다.

이 논문은 **"지식 (개념)"과 "그림 (시각화)"을 분리해서 생각하면 어떨까?**라고 질문하며 해결책을 제시합니다.

---

🛠️ 2. 해결책: FEYNMAN 에이전트의 4 단계 작업 과정

FEYNMAN 은 그림을 그릴 때, 한 번에 모든 것을 하려고 하지 않습니다. 대신 4 단계로 나누어 전문가 팀처럼 협업합니다.

1 단계: 아이디어 브레인스토밍 (Knowledge Planning)

• 비유: 건축 설계도 작성자가 역할을 합니다.
• 작업: "오늘은 '분자 구조'에 대한 그림을 그려보자"라고 주제를 정하면, FEYNMAN 은 먼저 "수소 원자 2 개, 산소 원자 1 개가 필요하다"는 **지식 (아이디어)**만 먼저 나열합니다. 아직 그림은 그립니다.
• 핵심: AI 가 가진 방대한 지식을 먼저 꺼내어, 무엇을 그릴지 '개념'만 정리합니다.

2 단계: 계획 세우기 (Code Planning)

• 비유: 시공 감독관이 역할을 합니다.
• 작업: "원자 3 개를 어떻게 배치할지, 결합은 어떻게 표현할지"를 **코드 (명령어)**로 번역할 계획을 세웁니다. "이 원자는 저 원자와 연결되어야 하고, 크기는 이렇게 해야 한다"는 식의 청사진을 그립니다.

3 단계: 반복적인 수정 (Iterative Visual-Refine)

• 비유: 예술 비평가 패널이 역할을 합니다.
• 작업: FEYNMAN 이 만든 초안 (코드) 을 실제 그림으로 변환합니다. 그리고 AI 비평가들 (다른 AI 모델들) 이 이 그림을 봅니다.
  • "글자가 안 읽혀요."
  • "분자 구조가 틀렸어요."
  • "너무 복잡해요."
• 이 피드백을 받아 FEYNMAN 은 코드를 수정하고 다시 그립니다. 이 과정을 그림이 완벽해질 때까지 반복합니다.

4 단계: 렌더링 (PENROSE 시스템)

• 비유: 마법 같은 자동화 공장입니다.
• 작업: FEYNMAN 이 작성한 최종 코드를 PENROSE라는 특수한 시스템에 넣습니다. PENROSE 는 "이 코드는 이런 모양으로 그려져야 한다"는 규칙을 따르지만, 색상, 배치, 크기는 매번 조금씩 다르게 랜덤하게 만들어줍니다.
• 결과: 같은 내용 (분자 구조) 을 그려도, 매번 다른 스타일의 아름다운 그림이 수십 개씩 튀어 나옵니다.

---

📊 3. 성과: 무엇이 달라졌나요?

이 시스템을 통해 연구팀은 놀라운 성과를 거두었습니다.

1. 대량 생산: 155 만 토큰 (약 400 달러 비용) 으로 10 만 개가 넘는 고품질의 '도표 - 설명' 쌍을 만들었습니다.
2. DIAGRAMMA (다이어그램마) 벤치마크: 이 새로 만든 그림들을 이용해, AI 들이 도표를 얼마나 잘 이해하는지 테스트하는 새로운 시험지를 만들었습니다.
3. 테스트 결과: 최신 AI 모델 17 개를 이 시험지에 넣었더니, 모든 모델이 고전했습니다. 특히 복잡한 그래프나 논리적 추론이 필요한 문제에서는 AI 들이 여전히 실수를 많이 했습니다. 이는 아직 AI 가 시각적 추론에서 인간에 비해 부족하다는 것을 보여줍니다.

---

💡 4. 핵심 요약: 왜 이 연구가 중요한가요?

이 연구는 **"AI 가 그림을 그릴 때, 지식과 시각화를 분리하라"**는 새로운 방식을 제시합니다.

• 기존 방식: AI 가 "그림을 그려줘"라고 하면, 지식과 그림을 동시에 하려고 해서 실패함.
• FEYNMAN 방식:
  1. 지식을 먼저 정리하고 (아이디어),
  2. 계획을 세우고 (청사진),
  3. 비평가의 도움을 받아 다듬고 (수정),
  4. 자동화 시스템으로 다양한 스타일의 그림을 뽑아냄 (생산).

마치 명품 가구 공장에서 설계사가 도면을 그리고, 목수가 자재를 준비하고, 품질 관리팀이 검수를 거쳐, 마지막에 다양한 색상의 가구를 대량으로 생산하는 것과 같습니다.

이러한 방식을 통해 우리는 과학 교과서 수준의 정확한 도표를 저렴하고 빠르게 만들 수 있게 되었으며, 앞으로 더 똑똑한 AI 를 훈련시키기 위한 양질의 데이터를 무한히 생산할 수 있는 길을 열었습니다.

기술 요약

1. 문제 정의 (Problem Definition)

• 현황: 최근의 멀티모달 대규모 언어 모델 (MLLM) 은 일반적인 텍스트 및 이미지 작업에서 뛰어난 성능을 보이지만, 개념적 다이어그램 (Conceptual Diagrams) 을 이해하고 생성하는 데에는 여전히 한계가 있습니다.
• 주요 한계점:
  • 지식과 시각화의 결합 실패: 모델이 다이어그램에 필요한 추상적 지식 (예: 화학 반응식, 그래프 이론) 을 추출하는 것과 이를 시각적으로 표현하는 것을 동시에 수행하려 할 때 실패합니다.
  • 기존 방법론의 결함:
    • 확산 모델 (Diffusion Models): 시각적으로 아름다운 이미지를 생성할 수 있지만, 다이어그램에 필요한 정확한 개념이나 텍스트 라벨을 누락하거나 왜곡하는 경우가 많습니다.
    • 기존 프로그래밍 에이전트 (예: TikZ 생성): TikZ 와 같은 코드로 다이어그램을 생성하려는 시도는 존재하지만, 복잡한 다이어그램의 경우 컴파일 실패율이 높고, 지식 추출과 시각적 레이아웃을 분리하지 못해 대규모 생성에 비효율적입니다.
  • 데이터 부족: 고품질의 지식 기반 다이어그램과 텍스트 쌍 (Image-Text Pairs) 이 부족하여 MLLM 의 시각적 추론 능력을 훈련하거나 평가하기 어렵습니다.

2. 방법론 (Methodology)

저자들은 FEYNMAN이라는 새로운 에이전트를 제안하며, 지식 추출 (Knowledge Elicitation) 과 시각적 생산 (Visual Production) 을 분리 (Decouple) 하여 대규모 다이어그램 생성 파이프라인을 구축했습니다.

핵심 아키텍처: 4 단계 파이프라인

1. 아이디어 (Idea): LLM 을 사용하여 특정 도메인 (예: 화학, 수학, 컴퓨터 과학) 에 대한 구체적인 지식 구성 요소 ("아이디어") 를 나열합니다. 이는 다이어그램의 내용적 기반을 마련합니다.
2. 계획 (Plan): 나열된 아이디어를 바탕으로 PENROSE 언어 (Substance 코드) 로 변환할 시각적 요소와 관계를 계획합니다. 이 단계에서는 실행 가능한 코드를 직접 작성하지 않고, 코드 작성의 논리적 단계를 설계합니다.
3. 반복적 시각 정제 (Iterative Visual-Refine):
   • 계획된 내용을 PENROSE 의 Substance 코드로 변환합니다.
   • 생성된 코드를 컴파일하여 다이어그램을 렌더링합니다.
   • 시각적 심사관 패널 (Visual Judges): 여러 MLLM 을 심사관으로 활용하여 생성된 다이어그램의 품질 (정확성, 가독성, 관계성 등) 을 평가하고 피드백을 제공합니다.
   • 피드백을 바탕으로 코드를 수정하고 재컴파일하는 과정을 반복하여 (Algorithm 1) 높은 품질의 다이어그램을 확보합니다.
4. 렌더링 (Render): 최적화 기반 렌더링 엔진인 PENROSE를 사용하여 최종 다이어그램을 생성합니다.
   • PENROSE 의 역할: Substance(개념) 와 Style(시각적 스타일) 을 분리합니다. 동일한 개념 (Substance) 에 대해 무작위 초기값을 샘플링하여 시각적 다양성 (Visual Diversity) 을 유지하면서도 의미론적 일관성을 보장합니다.

데이터 생성 및 벤치마크

• FEYNMAN 을 통해 10 만 개 이상의 정렬된 다이어그램 - 캡션 쌍을 생성했습니다.
• 생성된 데이터를 기반으로 DIAGRAMMA라는 새로운 시각적 추론 벤치마크를 구축했습니다. 이는 인터넷에 존재하지 않는 완전히 새로운 (Fresh) 데이터로 구성되어 있습니다.

3. 주요 기여 (Key Contributions)

1. FEYNMAN 에이전트 개발: 지식 추출과 시각적 생산을 분리하여 교과서 수준의 고품질 다이어그램을 대규모로 생성할 수 있는 에이전트를 제안했습니다.
2. 대규모 데이터셋 생성: GPT-4o-mini 를 활용하여 약 10,693 개의 고유한 지식 기반 프로그램 (Substance) 을 생성하고, 이를 통해 106,930 개의 정렬된 다이어그램 - 캡션 쌍을 약 400 달러 미만의 비용으로 제작했습니다.
3. DIAGRAMMA 벤치마크 공개: FEYNMAN 이 생성한 완전히 새로운 예시들로 구성된 1,058 개의 객관식 질문 (다중 선택형) 으로 이루어진 시각적 추론 벤치마크를 공개했습니다.
4. 심층 분석: 지식 기반 에이전트 구축을 위한 아블레이션 연구 (Ablation Study) 를 통해 지식 계획, 코드 계획, 조기 종료 메커니즘의 중요성을 입증하고, 대규모 과학적 다이어그램 생성의 경제적 타당성을 분석했습니다.

4. 실험 결과 (Results)

• 생성 효율성: FEYNMAN 파이프라인은 높은 성공률 (Yield Rate) 을 보였으며, 지식 밀집형 도메인 (예: 화학 반응) 에서 토큰 수 증가에 따라 선형적으로 확장되는 것을 확인했습니다.
• 벤치마크 성능 (DIAGRAMMA 평가):
  • 17 개의 최신 MLLM (GPT-4o, Claude 3.5, Gemini 1.5 등) 을 DIAGRAMMA 에서 평가했습니다.
  • 모델 크기 효과: 모델 크기가 커질수록 정확도가 향상됨을 확인하여 벤치마크의 유효성을 입증했습니다.
  • 어려운 과제: 현재 모델들은 컴퓨터 과학 (그래프 추론) 과 수학적 추론 분야에서 여전히 낮은 성능을 보였습니다. 특히, 여러 객체를 동시에 인식하거나 다단계 추론이 필요한 경우 (Compositional Reasoning) 에 큰 실수를 범했습니다.
  • 예상치 못한 발견: Gemini-1.5 Flash 가 더 비싼 Gemini-1.5 Pro 보다 DIAGRAMMA 에서 더 좋은 성능을 보였으며, 이는 OOD (Out-of-Distribution) 데이터에 대한 모델의 거부 반응 (Rejection) 과 관련이 있을 것으로 추정됩니다.

5. 의의 및 결론 (Significance)

• 시각적 추론 연구의 새로운 기준: 기존 벤치마크의 데이터 오염 (Contamination) 문제를 해결하고, 완전히 새로운 과학적 다이어그램 데이터를 제공함으로써 MLLM 의 시각적 추론 능력을 더 정확하게 평가할 수 있는 토대를 마련했습니다.
• 효율적인 데이터 생성 패러다임: 확산 모델이나 직접적인 코드 생성 방식의 한계를 극복하고, 지식 기반 에이전트 + 최적화 렌더링 방식을 통해 저렴하고 확장 가능한 고품질 시각 데이터 생성이 가능함을 증명했습니다.
• 오픈 소스 공개: 데이터셋, 벤치마크, 그리고 전체 에이전트 파이프라인을 오픈 소스로 공개하여 향후 멀티모달 AI 연구의 발전을 촉진할 것으로 기대됩니다.

이 논문은 AI 가 단순히 이미지를 생성하는 것을 넘어, 지식과 논리를 시각적으로 구조화하는 능력을 어떻게 확장할 수 있는지에 대한 중요한 통찰을 제공합니다.