1. 문제 정의 (Problem Statement)

최근 "AI 과학자 (AI scientist)" 시스템은 과학 논문의 작성과 코드 실행을 자동화하는 데 큰 진전을 이루었습니다. 그러나 종단 간 (end-to-end) 논문 생성 과정에서 가장 큰 병목 현상은 여전히 고품질의 과학적 다이어그램 (특히 '티저 그림', 즉 논문의 핵심을 한눈에 보여주는 개요 도면) 을 생성하는 데 있습니다.

• 기존 시스템의 한계: 기존 AI 시스템은 데이터 플롯 (plot) 은 생성할 수 있지만, 복잡한 논리 워크플로우를 직관적으로 전달하고 호기심을 자극하는 개념적 통합과 전략적 레이아웃이 필요한 티저 그림을 생성하지 못하거나, 하위 수준의 대안을 사용합니다.
• 생성 모델의 부족: 기존 텍스트 - 이미지 생성 모델은 많은 의미적으로 연결된 객체, 일관된 화살표 토폴로지, 가독성 있는 텍스트가 포함된 밀도 높은 과학적 다이어그램을 생성하는 데 실패합니다.
• 데이터 부재: 다이어그램 디자인을 위한 대규모의 고품질 예시 (exemplar) 데이터셋과 이를 검색하여 생성에 활용할 수 있는 메타데이터가 부족했습니다.

2. 방법론 (Methodology)

A. 데이터셋 구축: DiagramBank

저자들은 89,422 개의 과학적 다이어그램으로 구성된 대규모 데이터셋 DiagramBank를 제안합니다. 이는 자동화된 파이프라인을 통해 구축되었습니다.

1. 데이터 수집: OpenReview 플랫폼에서 2017~2025 년까지의 4 개 최상위 AI/ML 학회 (ICLR, ICML, NeurIPS, TMLR) 의 논문을 대상으로 PDF 와 메타데이터를 수집했습니다.
2. 내용 추출:
   • PDFFigures 2.0: 그림과 캡션을 추출.
   • PyMuPDF: 본문에서 특정 그림 번호를 인용하는 문장 (figure-reference spans) 을 추출하여 그림의 과학적 의도 (context) 를 파악.
3. 스케치 (Schematic) 분류 필터링:
   • 추출된 이미지 중 차트 (plot), 자연 이미지 (photo), 기타와 구별하여 **설명용 다이어그램 (diagram)**만 선별하기 위해 CLIP (Contrastive Language-Image Pre-Training) 기반 필터를 사용했습니다.
   • ViT-B-32 모델을 활용하여 'diagram'으로 분류된 이미지 중 신뢰도 (confidence score) 가 0.85 이상인 것만 최종 데이터셋에 포함시켰습니다.
4. 데이터 구조: 각 다이어그램은 논문 수준 (제목, 초록) 과 그림 수준 (캡션, 본문 인용구) 의 텍스트 메타데이터와 결합된 비정규화 (denormalized) 형태로 제공되어, 검색 시 복잡한 조인 (join) 없이도 풍부한 문맥을 제공합니다.

B. 검색 증강 생성 (RAG) 시스템: DiagramBank-RAG

검색된 예시를 기반으로 다이어그램을 생성하는 RAG 파이프라인을 제안합니다.

• 계층적 3 단계 검색 전략:
  1. 제목 필터링 (Stage 1): 사용자의 논문 제목/주제를 기반으로 제목 인덱스를 검색하여 도메인 관련성을 확보 (cross-domain noise 제거).
  2. 초록 정제 (Stage 2): 검색된 논문 집합 내에서 초록 인덱스를 통해 문제 설정과 방법론의 유사성을 정밀하게 매칭.
  3. 캡션 매칭 (Stage 3): 최종적으로 그림 캡션 인덱스를 검색하여 사용자의 의도한 다이어그램 설명과 가장 일치하는 시각적 예시 (exemplar) 를 선별.
• Deep Fetch: 검색 필터링 과정에서 발생할 수 있는 재현율 (recall) 감소를 막기 위해, 각 단계에서 더 넓은 풀 (pool) 을 검색한 후 상위 K 개를 필터링하는 방식을 사용합니다.

3. 주요 기여 (Key Contributions)

1. 대규모 검색 준비형 다이어그램 데이터셋 (DiagramBank):
   • 89,422 개의 고품질 과학적 다이어그램과 풍부한 메타데이터 (논문 제목, 초록, 캡션, 본문 인용구) 를 포함.
   • 다양한 검색粒度 (granularity, 논문 수준 vs 그림 수준) 에 대응 가능한 구조로 설계됨.
2. 제어 가능한 검색을 위한 문맥 풍부화:
   • 각 다이어그램을 논문 수준의 의도와 그림 수준의 세부 의미로 연결하여, 검색 시 도메인 드리프트 (domain drift) 를 줄이고 특정성을 높임.
3. 검색 및 검색 증강 다이어그램 작성 베이스라인:
   • 검색 및 RAG 기반 예시 조건부 (exemplar-conditioned) 다이어그램 생성을 위한 코드와 파이프라인을 공개하여, 검색된 디자인 예시가 티저 그림 생성을 어떻게 안내하는지 시연.

4. 결과 및 분석 (Results & Analysis)

• 데이터 통계:
  • 총 452,339 개의 비표 (non-table) 그림 중 **19.8% (89,422 개)**가 다이어그램으로 분류됨.
  • 신뢰도 0.85 이상으로 필터링 시 59,765 개의 고품질 다이어그램이 확보됨.
  • 최근 (2023-2025) 에 데이터 양이 급격히 증가하여 AI/ML 연구 생산성 증가를 반영.
• Case Study (Code2MCP 프레임워크 시각화):
  • Baseline (RAG 없음): 텍스트 프롬프트만으로는 "DMemphis" 스타일의 고대비 색상과 단순한 선형 레이아웃이 생성되어 학술적 완성도가 낮음.
  • RAG 적용: 검색된 3 개의 참조 다이어그램 (pastel 색상, 둥근 그룹 컨테이너, 순환적 워크플로우 등) 의 시각적 특성을 성공적으로 전이 (transfer) 함.
  • 성과: 생성된 다이어그램은 의미적 정확성뿐만 아니라, 학술 출판물에 적합한 스타일적 일관성 (색상 팔레트, 아이콘, 레이아웃 구조) 을 갖추게 됨.

5. 의의 및 한계 (Significance & Limitations)

• 의의:
  • 텍스트 중심의 논문 작성 파이프라인과 그림 중심의 과학적 커뮤니케이션 간의 간극을 메우는 인프라를 제공.
  • 자동화된 "AI 과학자" 시스템이 논문의 핵심을 시각적으로 전달하는 티저 그림을 고품질로 생성할 수 있는 토대를 마련.
  • 검색 증강 생성 (RAG) 이 과학적 다이어그램 생성 분야에서 어떻게 작동할 수 있는지를 입증.
• 한계 및 향후 과제:
  • 자동 필터링 및 추출 과정에서 발생할 수 있는 라벨 노이즈와 불완전한 인용구.
  • 현재 이미지 생성 모델의 한계로 인해 복잡한 화살표 토폴로지나 가독성 있는 텍스트 렌더링이 완벽하지 않아, 최종 출력물에 사후 편집이 필요할 수 있음.
  • 오픈 액세스 데이터에 의존함에 따른 샘플링 편향 가능성.

결론

이 논문은 과학적 다이어그램 생성의 병목 현상을 해결하기 위해 DiagramBank라는 대규모 데이터셋과 이를 활용한 RAG 기반 생성 프레임워크를 제안했습니다. 이를 통해 AI 는 단순한 데이터 시각화를 넘어, 논문의 핵심 아이디어를 효과적으로 전달하는 전략적이고 미적으로 완성도 높은 과학적 다이어그램을 생성할 수 있는 가능성을 열었습니다.