SO-Bench: A Structural Output Evaluation of Multimodal LLMs

1. 문제 정의 (Problem Definition)

멀티모달 대형 언어 모델 (MLLM) 은 웹 자동화, 데이터 추출, 도구 사용 (Tool Use) 등 에이전트 (Agentic) 환경에서 광범위하게 배포되고 있습니다. 이러한 환경에서는 모델의 출력이 단순히 의미적으로 정확할 뿐만 아니라, 하위 시스템이나 API 가 처리할 수 있도록 **미리 정의된 JSON 스키마 (Schema) 에 엄격하게 준수하는 구조적 유효성 (Structural Validity)**을 가져야 합니다.

기존 연구들은 텍스트 기반의 구조적 출력 (Structured Output) 에 집중하거나, 단순한 키-값 추출 (KIE) 에 그치는 경우가 많았습니다. 그러나 시각적 입력 (이미지, UI, 문서, 차트 등) 을 기반으로 복잡한 계층적 JSON 스키마를 준수하여 정보를 추출하고 추론하는 능력을 체계적으로 평가하는 벤치마크는 부재했습니다. 이는 MLLM 이 실제 에이전트 애플리케이션에서 신뢰성 있게 작동하는 데 있어 중요한 한계점으로 지적되었습니다.

2. 방법론 (Methodology)

가. SO-Bench 데이터셋 구축

저자들은 시각적 구조적 출력 능력을 평가하기 위해 SO-Bench라는 새로운 벤치마크를 개발했습니다.

• 데이터 규모 및 구성: 4 가지 시각 도메인 (UI 화면, 자연 이미지, 문서, 차트) 에서 수집된 1,800 개 이상의 정제된 이미지 - 스키마 쌍과 6,500 개 이상의 다양한 JSON 스키마로 구성되었습니다.
• 데이터 생성 파이프라인: 고품질 데이터를 확보하기 위해 3 단계의 자동 라벨링 파이프라인을 설계했습니다.
  1. 이미지 - 스키마 연관성 (Image-Schema Association): CLIP 임베딩을 사용하여 이미지와 스키마 간의 유사성을 계산하고, 최상위 후보를 MLLM 을 통해 선택합니다.
  2. 다중 이미지 그룹화를 통한 스키마 생성: 유사한 이미지 군집을 기반으로 통합된 중첩 (Nested) 스키마를 생성하여 스키마의 다양성과 복잡성을 높입니다.
  3. 점진적 응답 생성 및 정제: 생성된 구조적 출력을 '크리틱 (Critic)' 모델과 인간 전문가가 검증하고, 오류가 발견되면 재생성하여 품질을 보장합니다.
• 다양성: 60,000 개의 사용자 프로필을 기반으로 다양한 어조와 의도를 가진 사용자 지시문 (User Instruction) 을 생성하여 실제 시나리오를 반영했습니다.

나. 평가 지표 (Evaluation Metrics)

모델의 성능을 정량화하기 위해 다음과 같은 세 가지 지표를 도입했습니다.

1. 스키마 유효성 검증 정확도 (Schema Validation Accuracy): 모델이 생성한 JSON 이 주어진 스키마 정의에 문법적으로 부합하는지 여부.
2. 필드 매칭 정확도 (Field Matching Accuracy, FMA): 정답 (Ground Truth) 의 필드가 모델 출력에서 정확히 (Exact) 또는 유사하게 (Fuzzy) 매칭되는 비율.
3. 전체 구조 매칭 정확도 (Full Structure Matching Accuracy, FSMA): 전체 구조가 완벽하게 일치하는 비율.

• 참고: 시각 정보 추출의 어려움 (흐릿함, 잘림 등) 을 고려하여 'Fuzzy Match' (편집 거리, 상대 오차 사용) 와 'Ignore' (필요 없는 필드) 전략을 포함했습니다.

다. 실험 및 학습

• 벤치마킹: 오픈소스 모델 (Qwen, Gemma, Llama 등) 과 선두 주자 (Frontier) 인 상용 모델 (GPT-4o/5, Gemini 2.5 등) 을 대상으로 성능을 비교했습니다.
• 학습 실험: SO-Bench 데이터셋을 기반으로 **지도 미세 조정 (SFT)**과 **검증 가능한 보상을 통한 강화 학습 (RLVR)**을 수행하여 모델의 구조적 출력 능력을 향상시키는 실험을 진행했습니다.

3. 주요 기여 (Key Contributions)

1. SO-Bench 벤치마크 제안: 시각적 입력에 기반한 구조적 출력 능력을 체계적으로 정량화하는 최초의 포괄적인 벤치마크를 공개했습니다.
2. 현실적 한계 규명: 기존 MLLM 들이 스키마 준수 (Schema Adherence) 와 구조적 충실도 (Structural Fidelity) 측면에서 여전히 큰 격차를 보이고 있음을 실증적으로 증명했습니다.
3. 학습 효과 입증: SFT 와 RLVR 을 통해 모델의 구조적 추론 능력을 크게 향상시킬 수 있음을 보여주었습니다.

4. 실험 결과 (Results)

가. 벤치마킹 결과

• 스키마 준수: 최상위 모델 (Gemini-2.5-Pro, GPT-5) 은 스키마 유효성 검증에서 95% 이상의 높은 정확도를 보였으나, 이는 문법적 형식만 준수한 경우입니다.
• 구조적 정확도: 실제 정보 추출의 정확도 (Full Match) 는 매우 낮았습니다. 가장 강력한 모델인 Gemini-2.5-Pro 의 경우 Fuzzy Match 기준 전체 구조 일치율이 약 **19%**에 불과했습니다.
• 모델 크기 영향: 소규모 모델 (3B~7B) 은 스키마 준수와 구조적 생성 모두에서 상용 모델에 비해 현저히 낮은 성능을 보였습니다.
• 복잡도 영향: 스키마의 중첩 깊이 (Depth) 가 깊어질수록 모든 모델의 성능이 급격히 저하되었습니다.

나. 상관관계 분석

SO-Bench 성능은 AGentic 도구 사용 (BFCL), 일반 시각 지식 (MMMU), 시각적 지시 따르기 (MIABench) 벤치마크와 강한 양의 상관관계를 보였습니다. 반면, 단순 텍스트 지시 따르기 (IFEval) 나 참조 (RefCOCO) 와는 상관관계가 낮아, 시각적 구조적 출력이 별도의 고유한 능력을 요구함을 시사합니다.

다. 학습 실험 결과

• SFT: 3B 규모의 모델에 대해 대규모 데이터 (50K) 로 SFT 를 수행한 결과, 스키마 검증 정확도가 20% 이상, 필드 매칭 정확도가 13% 이상 향상되었습니다.
• RLVR: RLVR 은 SFT 대비 추가적인 향상을 보였으나, SFT 만으로 학습된 모델보다 성능이 낮았습니다. 이는 초기 모델의 능력이 제한적일 때 RLVR 의 효과가 제한적일 수 있음을 시사합니다.
• 데이터 다양성: 합성 스키마만 학습한 모델은 실제 스키마에 대한 일반화가 떨어졌으며, 다양한 도메인과 스키마 유형을 포함한 데이터 학습이 필수적입니다.

5. 의의 및 결론 (Significance and Conclusion)

이 논문은 MLLM 이 단순한 이미지 이해를 넘어, 실제 에이전트 시스템이 요구하는 엄격한 구조적 데이터 추출 능력을 갖추기 위해 어떤 과제가 존재하는지를 명확히 했습니다.

• 기술적 함의: 현재 최첨단 모델조차도 복잡한 시각적 정보를 스키마에 맞춰 완벽하게 추출하는 데 어려움을 겪고 있으며, 이는 시각적 이해와 구조적 추론 간의 간극을 보여줍니다.
• 실용적 가치: SO-Bench 는 MLLM 의 에이전트 적용 가능성을 평가하는 표준 도구로 활용될 수 있으며, SFT 와 RLVR 을 통한 학습 전략은 구조적 출력 능력을 획기적으로 개선할 수 있음을 입증했습니다.
• 향후 과제: 더 정교한 의미적 매칭 메트릭 개발, 다양한 Ground Truth 에 대한 평가, 그리고 RL 기반의 추론 강화 학습 등이 향후 연구 과제로 제시되었습니다.

본 연구는 Apple 에서 공개하였으며, 벤치마크와 평가 파이프라인은 GitHub 를 통해 공개되어 있습니다.