🤖 AI

SciFig: Towards Automating Editable Figure Generation for Scientific Papers

이 논문은 과학적 텍스트로부터 고품질의 완전 편집 가능한 방법론 도표를 자동으로 생성함으로써 시각적 품질과 편집성 사이의 절충안을 극복하는 엔드 투 엔드 멀티 에이전트 프레임워크인 SciFig을 소개하며, 이의 우수한 성능을 검증하기 위한 새로운 벤치마크(SciFig-Bench)와 평가 프로토콜(SciFig-Eval)을 함께 제시한다.

원저자: Siyuan Huang, Yifan Zhou, Yutong Gao, Zi Yin, Juyang Bai, Xinxin Liu, Rama Chellappa, Chun Pong Lau, Cheng Peng, Sayan Nag, Shraman Pramanick

게시일 2026-06-26

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Siyuan Huang, Yifan Zhou, Yutong Gao, Zi Yin, Juyang Bai, Xinxin Liu, Rama Chellappa, Chun Pong Lau, Cheng Peng, Sayan Nag, Shraman Pramanick

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 새로운 복잡한 요리의 레시피를 쓰고 있다고 상상해 보세요. 모든 단계를 글로 다 적어 두었지만, 요리사가 그릇에서 가스레인지로 재료가 어떻게 흘러가는지 정말 잘 이해할 수 있도록 돕기 위해서는 그림이 필요하다는 것을 알고 있습니다.

과학 연구의 세계에서, 이러한 "그림"은 **방법론 도식(methodology figures)**이라고 불립니다. 이 도식들은 새로운 컴퓨터 프로그램이나 과학적 방법이 실제로 어떻게 작동하는지를 보여주는 다이어그램입니다.

문제점:
현재 이 다이어그램을 만드는 것은 마치 오븐 장갑을 끼고 크레용으로 걸작을 그리려는 것과 같습니다.

"크레용" 문제: 표준 드로잉 도구(예: 파워포인트)를 사용하면 그림을 쉽게 편집할 수 있지만, 종종 딱딱하고 평면적이며 조금 지루해 보입니다. 마치 졸라맨 스케치처럼 말이죠.
"오븐 장갑" 문제: 만약 멋지고 사실적인 이미지를 만들기 위해 고급 AI 이미지 생성기를 사용한다면, 고품질의 사진 같은 결과물을 얻을 수 있지만, 이는 마치 사진과 같습니다. 만약 재료 하나를 바꾸거나 화살표 하나를 옮기고 싶다면, 단순히 클릭해서 드래그할 수 없습니다. 전체 그림을 버리고 처음부터 다시 시작해야 합니다.

해결책: SciFig
이 논문의 저자들은 SciFig라는 새로운 시스템을 구축했습니다. SciFig를 당신의 글로 된 레시피로부터 맞춤형의, 편집 가능하며 아름다운 다이어그램을 만들어내는 네 명의 전문 셰프 팀이라고 생각해보세요.

이 팀이 작동하는 방식은 다음과 같습니다:

플래너 (설계자): 먼저, 이 에이전트는 당신의 텍ert를 읽고 "청사진"을 파악합니다. 이 에이전트는 "좋아, 이 부분은 왼쪽에 두고, 저 부분은 오른쪽에 두자. 그리고 이 두 부분은 큰 화살표로 연결해야 해"라고 결정합니다. 아직 아무것도 그리지 않습니다. 단지 계획을 세울 뿐입니다.
레이아웃 에이전트 (건축가): 이 에이전트는 청사진을 받아 프레임을 구축합니다. 이 에이전트는 조각들을 제자리에 고정하는 구조화된 골격(XML이라는 디지털 형식 사용)을 만듭니다. 이것은 완성된 그림이 아니라 골격이기 때문에, 벽을 쉽게 움직여도 구조를 유지할 수 있습니다.
컴포넌트 에이전트 (장식가): 이제, 이 에이전트는 세부 사항을 채웁니다. 이 에이전트는 질감, 색상, 아이콘과 같은 "화려한" 요소들을 추가하여 다이어그램이 전문적이고 풍성해 보이도록 만듭니다. 하지만, 이 장식들은 골격에 부착되어 있으므로 편집 가능한 상태를 유지합니다.
피드백 에이전트 (비평가): 마지막으로, 이 에이전트는 결과를 검토합니다. 이 에이전트는 인간이 "그 상자를 위로 옮겨줘"라고 말하는 것을 들을 수도 있고, 자신의 "눈"(AI 비전 모델)을 사용하여 "이봐, 이 화살표 두 개가 어색하게 교차하고 있어. 수정하자"라고 말할 수도 있습니다. 그런 다음 다이어그램이 완벽해질 때까지 미세하게 조정합니다.

결과:
최종 결과물은 인간 전문가가 그린 것처럼 훌륭해 보이면서도, 완전히 편집 가능한 상태를 유지합니다. 상자를 클릭하여 라벨을 바꾸거나 화살표를 이동시켜도 전체 이미지를 망치지 않습니다. 시스템은 이 과정을 약 10분 만에 수행합니다.

어떻게 테스트했는가 (SciFig-Bench & SciFig-Eval)
시스템이 제대로 작동한다는 것을 증명하기 위해, 팀은 단순히 추측하지 않았습니다. 그들은 다음을 수행했습니다:

라이브러리 구축 (SciFig-Bench): 그들은 최고의 컴퓨터 과학 논문들에서 추출한 435개의 실제 고품질 다이어그램을 수집했습니다. 이것들은 "골드 스탠다드(표준 정답)" 역할을 했습니다.
채점 루브릭 생성 (SciFig-Eval): 단순히 AI에게 "이것이 예쁜가요?"라고 묻는 대신, 그들은 엄격한 4단계 체크리스트를 만들었습니다:
1. 완전성 (Completeness): 모든 중요한 부분을 포함했는가?
2. 충실도 (Fidelity): 원본 저자의 그림과 닮았는가?
3. 품질 (Quality): 텍스트가 명확하고 레이아웃이 논리적인가?
4. 디자인 (Design): 색상과 간격이 보기 좋은가?

판결:
그들이 SciFig를 다른 방법들(단일 AI 이미지 생성기 및 다른 다단계 시스템 포함)과 비교했을 때, SciFig는 모든 카테고리에서 승리했습니다.

더 정확하고 완전한 다이어그램을 생성했습니다.
더 보기 좋고 읽기 쉬웠습니다.
가장 중요한 것은, 60명의 인간 전문가가 참여한 블라인드 테스트에서 SciFig가 81%의 확률로 최고로 선택되었으며, 이는 논문 저자들이 직접 그린 원본 다이어그램마저 능가한 결과였습니다.

요약하자면:
SciFig는 과학적 다이어그램을 그리는 힘든 작업을 자동화하는 도구입니다. 이는 디지털 드로잉 도구의 편집 가능성과 AI 이미지 생성기의 시각적 아름다움을 결합하여, 과학자들이 드로잉 소프트웨어와 씨름하며 시간을 허비하지 않고도 자신의 아이디어를 명확하게 전달할 수 있도록 보장합니다.

기술 요약: SciFig

문제 정의

고품질의 방법론 도해(methodology figures)는 복잡한 방법, 구성 요소 및 정보 흐름을 명확하고 수정 가능한 다이어그램으로 추출하여 과학적 커뮤니케이션을 수행하는 데 필수적입니다. 그러나 이러한 도해를 제작하는 과정은 여전히 수동적이며 시간이 많이 소요되는 작업입니다. 기존의 자동화된 접근 방식들은 근본적인 트레이드오프(trade-off)에 직면해 있습니다:

구조적/편집 가능 접근 방식: TikZ나 SVG를 기반으로 하는 방법들은 편집 가능한 출력을 생성하지만, 인간이 설계한 일러스트레이션이 가진 시각적 풍부함, 질감 및 스타일적 다양성이 부족한 경우가 많습니다.
이미지 생성 접근 방식: VLM과 이미지 생성기를 활용하는 모델들은 세련되고 출판 가능한 수준의 래스터 이미지를 생성하지만, 미세한 수정조차 전체를 다시 생성해야 하는 비편집성 파일만을 출력합니다.

나아가, 생성된 과학적 도해를 평가하는 것은 매우 까다롭습니다. 현재의 평가 프로토콜은 다차원적 품질(정확성, 완전성, 가독성, 디자인)을 단일 VLM의 단일 수치 점수로 축소하는 경향이 있으며, 이는 편향과 프롬프트 문구에 대한 민감성을 유발합니다.

방법론: SciFig 프레임워크

저자들은 과학 텍스트로부터 시각적으로 풍부하고 완전히 편집 가능한 방법론 도해를 생성하도록 설계된 엔드 투 엔드(end-to-end) 멀티 에이전트 프레임워크인 SciFig를 소개합니다. 이 시스템은 래스터의 표현력과 심볼릭(symbolic) 편집 가능성 사이의 간극을 메우기 위해, 표준 다이어그램 도구(예: draw.io, PowerPoint)에서 편집할 수 있는 XML 도해를 생성합니다.

시스템 아키텍처

SciFig는 생성 과정을 네 가지 단계로 분해하며, 각 단계는 전담 에이전트에 의해 처리됩니다:

Planning Agent (계획 에이전트): 방법론 텍𝙩( $T$ )와 도해 설명( $D$ )을 분석하여 텍스트 계획( $P$ )을 생성합니다. 이 계획은 레이아웃 방향, 종횡비, 파이프라인 단계, 기능적 그룹화 및 내부 연결을 지정하며, 무엇을 묘사할 것인가와 요소가 어디에 나타나야 하는가를 분리합니다.
Layout Agent (레이아웃 에이전트): 계획 $P$ 를 초기 편집 가능 XML 레이아웃( $L_0$ )으로 변환합니다. 이 레이아웃은 3단계 계층 구조(모듈, 서브그룹, 리프 컴포넌트)를 사용하여 위치, 크기 및 연결을 인코딩하며, 모듈 간 및 모듈 내 흐름을 나타내기 위해 굵은 화살표와 가는 화살표를 사용합니다.
Component Agent (컴포넌트 에이전트): 레이아웃에 시각적 요소( $V$ $V$ )를 채웁니다. 이는 하이브리드 렌더링 전략을 채택합니다:
- PNG 모드: 시각적으로 복잡한 컴포넌트(예: 히트맵)의 경우, 이미지 생성 모델이 XML 내에 base64 이미지로 삽입된 풍부한 요소를 생성합니다.
- Textbox 모드: 명명된 연산 및 변수의 경우, 벡터 형식으로 스타일링된 라벨 텍스트 상자가 생성됩니다.
Feedback Agent (피드백 에이전트): 반복 루프( $K$ $K$ 회)를 통해 도해를 정교화합니다. 두 가지 모드를 지원합니다:
- Human-in-the-loop (인간 참여형): 연구자가 직접적인 편집이나 자연어 지시를 제공합니다.
- VLM-in-the-loop (VLM 참여형): VLM이 렌더링된 도해의 레이아웃, 정렬 및 명확성을 비평하고 수정을 제안합니다.

최종 출력물은 $F = (V, L, E)$ 를 나타내는 구조화된 XML 파일로, 개별 컴포넌트를 전체를 재생성하지 않고도 재배치하거나 스타일을 변경할 수 있습니다.

주요 기여

1. SciFig 프레임워크

시각적 풍부함과 완전한 편집 가능성의 균형을 맞추며 방법론 도해를 생성하는 멀티 에이전트 시스템입니다. 정교화를 위해 인간 및 VLM 피드백 루프를 모두 지원합니다.

2. SciFig-Bench

435개의 방법론 도해와 그에 대응하는 소스 텍스트/캡션으로 구성된 인간 검증 벤치마크입니다. 이 데이터셋은 15개의 최상위 컨퍼런스(예: NeurIPS, ICML, CVPR)에 걸친 37개의 AI/ML 중심 도메인을 포괄합니다. 추가로 1,784개의 도해 세트가 평가 루브릭(rubric) 개발에 사용되었습니다.

3. SciFig-Eval

단일 점수 기반 VLM 판정의 한계를 극복하기 위해 설계된 4축 평가 프로토콜입니다:

완전성 및 정확성 (Completeness and Correctness): 정보 커버리지를 평가하기 위해 50개의 Yes/No 질문이 포함된 교차 모델 VQA(Visual Question Answering)를 사용합니다.
참조 기반 충실도 (Reference-Based Fidelity): 저자가 그린 참조 모델과 비교하여 시각적 유사성(DINOv2), 도해-텍스트 관련성(SigLIP2), OCR 텍스트 정확도(F1 score)를 측정합니다.
루브릭 기반 콘텐츠 품질 (Rubric-Based Content Quality): 기술적 정확성, 명확성, 일관성 및 가독성을 평가하기 위해 실제 도해에서 추출한 20개의 이진(binary) 질문을 사용합니다.
지각적 디자인 품질 (Perceptual Design Quality): 참조 편향 없이 저수준 디자인 속성을 평가하기 위해 8가지 결정론적 휴리스틱(예: WCAG 대비, 데이터-잉크 비율, 공백 균일성)을 사용합니다.

실험 결과

저자들은 GPT-5.4-Image, Qwen-Image, Nano Banana Pro와 같은 단일 에이전트 이미지 생성기와 Paper2Poster, AutoFigure 등과 같은 에이전트 기반 파이프라인을 포함한 7개의 베이스라인을 대상으로 SciFig를 평가했습니다.

성능: SciFig는 SciFig-Eval의 네 가지 축 모두에서 가장 높은 점수를 기록했습니다. 특히, 가장 우수한 베이스라인인 PaperBanana보다 '완전성 및 정확성'에서 0.4점, '루브릭 기반 콘텐츠 품질'에서 0.4점 더 높은 점수를 기록했습니다.
편집 가능성: 래스터 생성기와 달리, SciFig는 레이블과 심볼이 편집 가능하고 가독성을 유지하는 XML 도해를 생성하여, 이미지 생성 출력물에서 흔히 발생하는 흐림(blurring)이나 왜곡 현상을 방지합니다.
인간 평가: 60명의 참가자가 참여한 블라인드 쌍체 비교 연구(10,000회 비교)에서, SciFig는 Elo 레이팅 1327을 기록하며 1위를 차지했으며, 심지어 원본 저자 작성 도해(GT Figures)보다도 높은 81.4%의 승률을 보였습니다.
효율성: 시스템은 평균적으로 약 10분 만에 편집 가능한 도해를 생성합니다.
절제 연구 (Ablation): 연구를 통해 Layout Agent와 Feedback Agent가 구조적 일관성과 전반적인 품질을 유의미하게 향 향상시킨다는 것을 확인했습니다. CoT 정교화 횟수( $K$ )를 1에서 4로 늘렸을 때, 3라운드 이후에는 수확 체감(diminishing returns) 현상이 나타났습니다.

의의 및 주장

본 논문은 SciFig가 편집 가능성과 시각적 품질 사이의 트레이드오프를 해결함으로써 과학적 시각적 커뮤니케이션을 자동화하는 데 있어 중요한 진전을 이루었다고 주장합니다. 계획, 레이아웃, 렌더링, 정교화로 생성 과정을 분해함으로써, SciFig 프레임워크는 소스 텍스트에 충실할 뿐만 아니라 과학 출판의 반복적인 특성에 적응할 수 있는 도해를 생성합니다.

저자들은 SciFig가 주로 AI/ML 분야의 방법론 도해를 위해 설계되었음을 강조합니다. 질적 예시들은 티저 다이어그램(teaser diagrams) 및 통계 플롯으로의 일반화 가능성을 시사하지만, 저자들은 이러한 다른 유형의 도해를 체계적으로 벤치마킹하지는 않았다고 명시했습니다. 마찬가지로, 벤치마크는 AI/ML 컨퍼런스에 국한되어 있으며, 저자들은 화학, 생물학 등 다른 과학 분야의 시각적 관습은 도메인 특화된 적응이 필요할 수 있음을 인정합니다.

이 연구는 SciFig를 전문적인 디자인 교육을 받지 않은 연구자들을 지원하면서도 최종 출력물에 대한 저자의 통제권을 유지할 수 있는 **보조 초안 작성 도구(assistive drafting tool)**로 포지셔닝합니다. 저자들은 생성된 도해가 저자의 판단이나 기술적 정확성을 대체하는 수단이 되어서는 안 된다고 주의를 당부합니다.