Text2Arch: A Dataset for Generating Scientific Architecture Diagrams from Natural Language Descriptions

TEXT2ARCH: 자연어 설명에서 과학적 아키텍처 다이어그램을 생성하기 위한 데이터셋 (ICLR 2026)

이 논문은 복잡한 시스템 설계나 과학적 과정을 텍스트만으로 전달하는 것의 비효율성과 모호성을 해결하기 위해, **자연어 설명에서 과학적 아키텍처 다이어그램을 자동으로 생성하는 새로운 작업 (TEXT2ARCH)**을 제안하고 이를 위한 대규모 데이터셋을 공개한 연구입니다.

1. 문제 정의 (Problem)

• 배경: 기업 아키텍처 시각화, AI 기반 소프트웨어 설계, 교육 콘텐츠 제작 등 다양한 분야에서 복잡한 시스템의 구조를 명확하게 표현하는 것이 필수적입니다. 그러나 수동으로 다이어그램을 작성하는 것은 시간이 많이 걸리고 오류가 발생하기 쉽습니다.
• 한계: 기존의 텍스트 - 이미지 생성 모델 (Diffusion 모델 등) 은 자연스러운 이미지를 생성하는 데는 탁월하지만, 구조적 일관성, 논리적 정확성, 그리고 가독성 있는 텍스트 레이블이 요구되는 과학적 아키텍처 다이어그램 생성에는 한계가 있습니다. 또한, 텍스트와 코드, 이미지가 정밀하게 정렬된 대규모 오픈 데이터셋이 부재하여 효과적인 모델을 학습시키기 어려웠습니다.
• 목표: 자연어 설명을 입력받아 중간 표현인 **DOT 코드 (Graphviz 언어)**를 생성하고, 이를 컴파일하여 고충실도 (High-fidelity) 의 아키텍처 다이어그램 이미지를 만들어내는 시스템을 구축하는 것.

2. 방법론 (Methodology)

2.1 TEXT2ARCH 데이터셋 구축

논문은 75,127 개의 샘플로 구성된 대규모 데이터셋 TEXT2ARCH를 제안했습니다. 이 데이터셋은 다음 세 가지 요소로 이루어진 정렬된 (Aligned) 트리플릿입니다:

1. 과학적 아키텍처 이미지: 논문 등에서 추출된 다이어그램.
2. 정제된 텍스트 설명: 다이어그램의 구조, 구성 요소, 흐름을 상세히 설명하는 자연어.
3. DOT 코드: 다이어그램을 렌더링할 수 있는 Graphviz 의 DOT 언어 코드.

데이터 구축 파이프라인:

1. 아키텍처 분류기 학습: Paper2Fig 등 기존 데이터셋에서 아키텍처 다이어그램과 비아키텍처 이미지를 구분하기 위해 CLIP 모델을 학습시켰습니다 (테스트 정확도 83.45%).
2. DOT 코드 생성 (DOT3):
   • DOT1: GPT-4o 를 사용하여 이미지에서 직접 DOT 코드를 추출.
   • DOT2: 객체 감지 (Flowchart Object Detection) 와 OCR(Florence-2) 을 사용하여 노드와 엣지를 추출.
   • DOT3 (Ground Truth): DOT2 와 이미지를 GPT-4o 에게 입력하여 구조적 오류를 수정하고 정제된 최종 DOT 코드를 생성.
3. 텍스트 설명 정제: 논문 원문에서 해당 도면과 관련된 문단을 추출 (TF-IDF 기반) 하고, GPT-4o 를 통해 다이어그램의 구조와 흐름을 명확히 설명하는 정제된 텍스트 (Desc3) 를 생성.
4. 난이도 분류: 노드 수 (0-14: Easy, 15-24: Medium, 25+: Hard) 에 따라 데이터를 분류하여 다양한 복잡도를 커버.

2.2 모델 접근법

• 기저 모델 (Baselines): DiagramAgent (멀티 에이전트 프레임워크), GPT-4o (Zero-shot), 그리고 Few-shot In-context Learning (ICL) 을 적용한 Llama-3-8B, Qwen2-7B, DeepSeek-7B.
• 제안 모델 (Fine-tuned Models): 위 세 가지 소규모 언어 모델 (7B-8B 파라미터) 을 TEXT2ARCH 데이터셋의 훈련 집합으로 **Supervised Fine-Tuning (SFT)**하여 자연어에서 DOT 코드 생성에 특화시켰습니다.

2.3 평가 지표 (Metrics)

단순한 텍스트 유사도뿐만 아니라 그래프 구조의 정확성을 평가하기 위해 두 가지 차원의 지표를 사용했습니다:

• 텍스트 기반 (NLG) 지표: ROUGE-L, CodeBLEU, 편집 거리 (Levenshtein), chrF.
• 그래프 기반 지표:
  • 노드/엣지 정밀도, 재현율, F1 점수: Hungarian 알고리즘을 사용하여 노드 레이블 매칭 후 계산.
  • Node/Edge PR-AUC: 다양한 유사도 임계값에서의 성능.
  • Jaccard Similarity: 엣지 집합의 중첩도 측정.

3. 주요 결과 (Key Results)

• 성능 우위: 미세 조정 (Fine-tuning) 된 DeepSeek-7B 모델이 모든 베이스라인 (DiagramAgent, GPT-4o, Few-shot 모델) 을 압도적으로 능가했습니다.
  • 텍스트 지표: DeepSeek-7B 는 ROUGE-L 55.2, CodeBLEU 49.3 을 기록하여 GPT-4o (ROUGE-L 28.2) 보다 월등히 높은 점수를 보였습니다.
  • 그래프 지표: Node F1 점수 69.4, Edge F1 점수 49.1 로 구조적 정확성이 가장 뛰어났습니다.
• GPT-4o 기반 평가: 인간 전문가와 유사한 평가를 위해 GPT-4o 에게 생성된 DOT 코드의 구조, 레이블, 관계를 평가하게 한 결과, DeepSeek-7B 가 DiagramAgent 와 다른 모델들보다 높은 호환성 점수 (2.68/5) 를 받았습니다.
• 데이터 정제 효과: GPT-4o 를 활용한 DOT3(정제된 코드) 과 Desc3(정제된 설명) 이 DOT1, DOT2 나 원본 설명보다 훨씬 높은 품질의 학습 데이터와 평가 기준을 제공함을 입증했습니다.
• 컴파일 성공률: Qwen2(95.67%) 와 DeepSeek(93.44%) 은 DOT 코드를 이미지로 컴파일하는 성공률이 매우 높았으나, Llama-3 는 출력 단절로 인해 성공률이 낮았습니다 (40.03%).

4. 기여 (Contributions)

1. 새로운 작업 정의: 자연어 설명을 중간 DOT 코드를 통해 과학적 아키텍처 다이어그램으로 변환하는 TEXT2ARCH 작업을 정의했습니다.
2. 대규모 데이터셋 공개: 75,000 개 이상의 텍스트 - 코드 - 이미지 정렬된 샘플로 구성된 TEXT2ARCH 데이터셋을 공개했습니다. 이는 해당 분야의 벤치마킹을 가능하게 하는 핵심 자원입니다.
3. 모델 성능 입증: 소규모 언어 모델을 미세 조정함으로써, 대규모 폐쇄형 모델 (GPT-4o) 과 기존 베이스라인 (DiagramAgent) 보다 뛰어난 성능을 달성할 수 있음을 증명했습니다.
4. 종합 평가 프레임워크: 텍스트 유사도와 그래프 구조적 정확성을 모두 고려한 새로운 평가 메트릭을 제안하여, 다이어그램 생성의 질을 다각도로 평가할 수 있는 기준을 마련했습니다.

5. 의의 및 결론 (Significance)

이 연구는 구조화된 시각적 표현 생성 분야에서 중요한 진전을 이루었습니다. 기존 Diffusion 모델의 한계를 극복하고, 논리적 구조와 텍스트 레이블이 정확한 다이어그램을 생성할 수 있음을 보였습니다. 특히, 소규모 오픈 소스 모델을 미세 조정함으로써 비용 효율적이고 고성능인 솔루션을 제시했다는 점이 주목할 만합니다.

이러한 기술은 학술 논문 작성, 엔터프라이즈 시스템 문서화, 교육 자료 생성 등 다양한 분야에서 전문가의 생산성을 획기적으로 높이고, 기술적 의사소통의 모호성을 줄이는 데 기여할 것으로 기대됩니다. 연구진은 코드, 데이터, 모델을 모두 오픈하여 향후 연구의 기반을 마련했습니다.