1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 은 자연어 생성, 추론, 코드 작성 등 다양한 분야에서 뛰어난 성능을 보이고 있지만, 실제 소프트웨어 개발 및 데이터 파이프라인 환경에서는 **구조화된 출력 (Structured Outputs)**을 정확하게 생성하는 능력이 필수적입니다.

• 현황: 기존 벤치마크는 주로 의미적 품질 (Semantic Quality) 이나 추론 능력에 초점을 맞추었으며, JSON, YAML, XML 과 같은 비렌더링 형식이나 HTML, React, SVG 와 같은 렌더링 가능한 형식에 대한 포괄적인 평가는 부족했습니다.
• 도전 과제:
  1. 데이터 수집의 어려움: 다양한 포맷에 대한 도메인 전문 지식과 고품질 주석이 필요함.
  2. 평가 지표의 복잡성: 텍스트 기반 구조 (JSON 등) 와 시각적 렌더링 (HTML 등) 을 통합하여 평가할 수 있는 통일된 메트릭 설계가 어려움.
  3. 기술적 장벽: 다양한 렌더링 환경과 언어 인터프리터를 통합한 평가 프레임워크 구축의 복잡성.

2. 방법론 (Methodology)

저자들은 StructEval이라는 새로운 종합 벤치마크를 제안하며, 이는 18 가지 포맷과 44 가지 태스크 유형을 포함합니다.

A. 데이터셋 구성 (Dataset)

StructEval 은 두 가지 하위 집합으로 나뉩니다:

1. StructEval-T (Text-only): 렌더링 없이 텍스트 구조를 생성하는 태스크 (JSON, XML, YAML, Markdown, CSV, TOML 등).
2. StructEval-V (Visual): 시각적 렌더링이 가능한 실행 가능한 코드를 생성하는 태스크 (HTML, React, Matplotlib, Canvas, LaTeX, SVG, Mermaid, TikZ 등).

각 태스크는 두 가지 유형으로 구분됩니다:

• 생성 (Generation): 자연어 프롬프트를 구조화된 출력으로 변환.
• 변환 (Conversion): 한 구조화된 형식에서 다른 형식으로 변환 (예: JSON → YAML).

데이터셋은 총 2,035 개의 예시로 구성되며, 각 예시는 자연어 질문 ($q$), 기대되는 키워드 집합 ($K$), 그리고 시각적 태스크의 경우 시각적 질문 - 답변 쌍 ($Q_v$) 으로 정의됩니다.

B. 주석 파이프라인 (Annotation Pipeline)

고품질 데이터셋 구축을 위해 3 단계 파이프라인을 사용했습니다:

1. 태스크 큐레이션: 18 가지 포맷과 44 가지 태스크 유형을 정의.
2. LLM 기반 합성: LLM 을 이용해 초기 태스크 쿼리와 평가 지표 (키워드, VQA 쌍) 를 대량 생성.
3. 전문가 검토 (Expert Review): LabelStudio 를 활용하여 2 단계에 걸친 인간 검수 과정을 거치며, 생성된 콘텐츠의 명확성, 완전성, 평가 가능성을 검증. 특히 VQA 질문의 공정성 (Fairness) 을 인간 전문가가 평가하여 시각적 정보만으로 답변 가능한지 확인했습니다.

C. 평가 지표 (Evaluation Metrics)

모델의 출력을 자동화 파이프라인을 통해 평가하며, 세 가지 핵심 지표를 사용합니다:

1. 구문 점수 (Syntax Score): 출력물이 문법적으로 유효한지 (JSON 파서 등) 또는 렌더링이 성공적인지 (헤드리스 렌더러) 확인 (0 또는 1).
2. 키워드 매칭 점수 (Keyword Matching Score): 기대되는 구조적 요소 (필드명, 값, 중첩 관계 등) 가 출력물에 포함되어 있는지 확인.
   • 텍스트 태스크: 도트 경로 (dot-path) 참조를 사용하여 중첩 구조를 평가.
   • 시각 태스크: 주석된 키워드가 코드에 존재하는지 확인.
3. 시각적 질문 답변 점수 (VQA Score): 렌더링된 이미지를 VLM(시각 - 언어 모델, GPT-4.1-mini) 에게 제공하여 주어진 시각적 질문의 정답 여부를 판단.

최종 점수 산정:

• StructEval-T: $s = 0.2 \cdot s_s + 0.8 \cdot s_k$ (구문 20%, 키워드 80%)
• StructEval-V: $s = 0.2 \cdot s_s + 0.1 \cdot s_k + 0.7 \cdot s_v$ (구문 20%, 키워드 10%, VQA 70%)

3. 주요 기여 (Key Contributions)

1. 포괄적인 벤치마크: 텍스트 기반 구조와 시각적 렌더링을 모두 아우르는 최초의 대규모 벤치마크 (18 개 포맷, 44 개 태스크) 를 제시.
2. 통합 평가 프레임워크: 구문 유효성, 키워드 매칭, 시각적 정확도를 통합한 자동화된 평가 파이프라인을 개발.
3. 새로운 통찰: 생성 태스크가 변환 태스크보다 어렵고, 시각적 콘텐츠 생성이 텍스트 구조 생성보다 더 어렵다는 것을 실증적으로 증명.

4. 실험 결과 (Results)

12 개의 모델 (오픈소스 및 상용) 을 평가한 주요 결과는 다음과 같습니다:

• 전체 성능: 가장 높은 평균 점수는 **GPT-4o (76.02)**가 기록했습니다. 오픈소스 모델 중에서는 **Qwen3-4B (67.04)**가 가장 우수했으나, 상용 모델 대비 약 10 점 차이가 있었습니다.
• 성능 격차: 최상위 상용 모델 (o1-mini 등) 은 평균 75.58 점이었으며, 오픈소스 모델은 약 10 점 뒤처졌습니다. 특히 생성 태스크 (Generation) 에서 이 격차가 두드러졌습니다.
• 태스크 유형별 차이:
  • 생성 vs 변환: 일반적으로 변환 태스크가 생성 태스크보다 성능이 좋았습니다.
  • 텍스트 vs 시각: 시각적 렌더링 (HTML, SVG 등) 을 생성하는 것이 텍스트 구조 생성보다 더 어려웠습니다.
• 어려운 태스크: 모든 모델이 0.5 미만의 낮은 점수를 기록한 난이도 높은 태스크들이 존재했습니다 (예: Text→Mermaid, Matplotlib→TikZ, Text→TOML). 이는 복잡한 구조적 또는 시각적 추론이 필요한 영역임을 시사합니다.
• 오류 분석: Phi-3-mini 와 같은 소형 모델은 닫는 태그 오류나 계층적 관계 누락 등 구조적 오류가 빈번하게 발생했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 실무 적용성: LLM 이 실제 소프트웨어 개발, 데이터 파이프라인, UI 생성, 과학적 출판 등 구조화된 출력이 필수적인 분야에서 신뢰할 수 있게 사용되기 위해서는 구조적 정확성이 핵심임을 강조합니다.
• 모델 발전 방향: 현재 최첨단 모델조차도 특정 포맷 (TOML, Mermaid 등) 이나 복잡한 시각적 렌더링에서 여전히 한계를 보이고 있음을 보여줍니다. 향후 모델은 구조적 형식 준수와 복잡한 스키마 매핑 능력을 더욱 강화해야 합니다.
• 향후 과제: 현재 벤치마크는 정적 (Static) 인 렌더링에 국한되어 있으며, 버튼 클릭, 페이지 전환 등 상호작용이 있는 동적 UI 평가는 향후 연구 과제로 남았습니다.

이 논문은 LLM 의 구조적 출력 능력을 체계적으로 평가할 수 있는 표준을 제시함으로써, 향후 더 견고하고 실용적인 AI 애플리케이션 개발의 기초를 마련했다는 점에서 중요한 의의를 가집니다.