이 논문은 **"EXSTRUCTINY"**라는 새로운 도구를 소개하는 연구입니다. 이 도구의 역할을 이해하기 위해 먼저 **'비즈니스 문서'**와 **'인공지능 (AI)'**의 관계를 상상해 보세요.
📚 비유: AI 는 '초고속 서기'지만, '지시'를 잘 못 들을 수도 있다
상상해 보세요. 당신의 회사에는 천재적인 AI 서기가 있습니다. 이 서기는 서류, 영수증, 보고서 같은 복잡한 문서를 눈으로 보고 내용을 읽을 수 있습니다.
하지만 문제는 이 서기가 지시하는 방식에 따라 실수가 많다는 점입니다.
기존의 문제 (구식 지시):
예전에는 "여기서 '날짜'를 찾아줘"라고 하면 잘 찾았습니다.
하지만 "여기서 '날짜', '금액', '발급처', '담당자'를 모두 찾아서 정해진 양식에 맞춰 정리해 줘"라고 하면, AI 는 혼란스러워합니다.
특히 "이 문서에 있는 모든 정보를 알아서 구조화해 줘"라고 vague(모호하게) 지시하면, AI 는 무엇을 찾아야 할지 감을 못 잡습니다.
기존 연구용 데이터들은 너무 단순하거나, 특정 문서 (예: 영수증) 에만 맞춰져 있어서, 실제 복잡한 비즈니스 환경에서는 AI 의 실력을 제대로 측정하기 어려웠습니다.
이 논문이 만든 해결책 (EXSTRUCTINY):
연구팀은 **"EXSTRUCTINY"**라는 새로운 시험지를 만들었습니다.
이 시험지는 AI 서기에게 다음과 같은 다양하고 까다로운 미션을 줍니다.
미션 A (정해진 양식): "이 JSON(데이터 형식) 빈칸에 '발급일'과 '금액'을 채워줘."
미션 B (모호한 지시): "이 문서에 있는 모든 '계약자 정보'를 찾아서 구조화해 줘." (어떤 정보가 있을지 미리 알려주지 않음)
미션 C (없는 정보 찾기): "이 문서에 '전화번호'가 있다면 찾아줘." (실제로는 전화번호가 없는 경우, AI 는 "없습니다"라고 정직하게 말해야 함)
🛠️ 어떻게 만들었나요? (인간 + AI 의 협업)
이 시험지를 만드는 데는 두 가지 방법이 섞여 있습니다.
전문가들의 손길 (수작업): 실제 비즈니스 문서 (계약서, 슬라이드, 웹페이지 등) 를 보고 전문가들이 직접 질문과 정답을 만들었습니다. 이는 정확도를 높이기 위함입니다.
AI 의 상상력 (합성 데이터): 여기에 더 많은 데이터를 만들기 위해 또 다른 강력한 AI(Gemini) 를 고용했습니다. 이 AI 가 "만약 이 문서에 이런 질문을 한다면 어떻게 답할까?"라고 상상해서 질문과 답을 만들어냈습니다.
중요한 점: AI 가 만든 답은 다시 전문가들이 꼼꼼히 검사했습니다. 마치 AI 가 쓴 에세이를 교사가 수정하고 채점하듯이 말이죠. 이렇게 해서 정확하면서도 다양한 시험지가 완성되었습니다.
📊 시험 결과: AI 는 아직 갈 길이 멀다
이 새로운 시험지 (EXSTRUCTINY) 로 여러 AI 모델들을 시험해 보니 흥미로운 결과가 나왔습니다.
규모가 큰 AI 가 유리: 모델이 클수록 (머리가 좋을수록) 성능이 좋았습니다.
비밀스러운 AI 가 더 잘함: 구글이나 오픈AI 같은 대기업의 **'비밀 AI(폐쇄형 모델)'**가 오픈소스 AI 보다 훨씬 잘했습니다. 특히 많은 정보를 한 번에 찾아내거나, 문서가 없는 경우를 정확히 파악하는 데서 차이가 컸습니다.
약점 발견:
위치 파악 실패: AI 는 "이 숫자가 문서의 3 페이지에 있다"고 말은 했지만, **정확히 어디에 있는지 (좌표)**를 가리키는 것은 매우 서툴렀습니다. (예: "책 3 페이지에 있는 단어"를 찾기는 했지만, 그 단어가 책의 왼쪽 상단인지 오른쪽 하단인지 정확히 못 찾는 것)
복잡한 지시: "이 문서의 모든 관계를 파악해서 정리해 줘" 같은 복잡한 지시를 받으면 성능이 급격히 떨어졌습니다.
💡 결론: 왜 이 연구가 중요할까요?
이 논문의 핵심 메시지는 **"우리가 AI 에게 문서 처리를 맡기려면, 아직 더 훈련이 필요하다"**는 것입니다.
기존의 단순한 테스트로는 AI 의 진짜 실력을 알 수 없었습니다. 하지만 EXSTRUCTINY는 실제 비즈니스 현장에서 일어날 수 있는 다양하고 까다로운 상황을 시뮬레이션합니다.
비유하자면: 예전에는 AI 가 "공을 던져라"라는 간단한 지시만 받았다면, 이제는 "공을 던져서 저기 있는 바구니에 넣되, 공이 떨어지기 전에 장애물을 피하고, 바구니가 비어있으면 '비어있음'이라고 보고해라"라는 복잡한 미션을 수행해야 하는 시대가 왔습니다.
이 연구는 앞으로 더 똑똑하고, 신뢰할 수 있는 AI 를 만들기 위한 초석이 될 것입니다. 우리가 매일 마주치는 서류 작업이 AI 에 의해 완벽하게 자동화되는 날을 앞당겨 줄 것입니다.
1. 문제 정의 (Problem Definition)
기업 문서 (양식, 보고서, 영수증 등) 는 데이터 아카이빙, 자동화된 워크플로우, 분석 등 하위 애플리케이션에 필수적인 정보를 포함하고 있습니다. 그러나 기존 시각 rich 문서 이해 (VRDU) 분야와 정보 추출 (IE) 연구에는 다음과 같은 한계가 존재합니다.
기존 벤치마크의 한계:
KEE (Key Entity Extraction) 및 RE (Relation Extraction): 특정 도메인 (예: 영수증, 양식) 에 고정된 엔티티 온톨로지에 의존하여, 새로운 도메인이나 사용자 정의 스키마에 대한 일반화 능력을 평가하기 어렵습니다.
VQA (Visual Question Answering): 질문이 단순하고 단일 스패인 (single-span) 추출에 국한되는 경우가 많으며, 여러 개의 관련 정보를 구조화된 형식 (JSON 등) 으로 조직화하는 능력을 평가하지 못합니다.
표/차트 파싱: 문서의 전체적인 맥락 없이 고립된 레이아웃 요소에만 집중하는 경향이 있습니다.
핵심 과제: 다양한 문서 유형과 **가변적인 사용자 지정 스키마 (Schema-Variable)**에 맞춰, 여러 개의 엔티티를 추출하고 이를 구조화된 형식 (JSON) 으로 조직화하며, 위치 (페이지, 바운딩 박스) 를 정확히 파악하는 전체적이고 세밀한 구조화 정보 추출 능력을 평가할 수 있는 벤치마크가 부재했습니다.
2. 방법론 (Methodology)
저자들은 이러한 격차를 해소하기 위해 EXSTRUCTINY라는 새로운 벤치마크 데이터셋과 평가 프레임워크를 제안했습니다.
A. 데이터셋 구성 (EXSTRUCTINY)
규모: 110 개의 다중 페이지 문서 (양식, 재무 보고서, 슬라이드, 웹 스크린샷) 와 304 개의 질의 - 응답 (QA) 쌍으로 구성됩니다.
질문 유형 (3 가지):
Closed IE (Plain Text): 명시적인 텍스트로 특정 엔티티 값을 요청 (예: "서명자의 이름과 직책을 추출하세요").
Closed IE (Schema): JSON 형식의 빈 스키마를 제공하여 해당 필드를 채우도록 요청.
On-demand IE: 부모 엔티티만 언급하고 하위 속성들을 자동으로 파악하여 추출하도록 요청 (예: "서명자에 대한 모든 세부 정보를 추출하세요").
출력 형식: 모든 답변은 JSON 형식이며, 추출된 텍스트, 페이지 인덱스, 바운딩 박스 좌표를 포함하는 구조화된 객체여야 합니다.
데이터 생성 파이프라인:
소규모 수동 주석: 4 명의 어노테이터가 FUNSD, TAT-DQA 등 기존 데이터셋의 테스트 분할에서 102 개의 고품질 QA 쌍을 수동으로 생성.
대규모 합성 데이터 생성: Gemini-2.5-Flash-Thinking 모델을 활용하여 수동 데이터를 기반으로 QA 를 확장 생성.
증강 (Augmentation): 엔티티 이름 재구성 (어휘 중첩 감소), 존재하지 않는 엔티티 추가 (미답변 시나리오 모의), 완전 미답변 QA 생성 등을 수행.
품질 검증: 3 명의 전문가가 합성 데이터를 검증하여 텍스트 일치도, 페이지 참조, 바운딩 박스, 구조 규칙 등을 수정. 최종적으로 202 개의 합성 QA 가 포함됨.
B. 평가 지표 (Evaluation Metrics)
모델의 성능을 4 가지 차원에서 평가합니다.
구조 예측 (Structure Prediction): 예측된 JSON 구조와 정답 간의 트리 편집 거리 (Tree Edit Distance) 및 의미적 매핑 일치도.
텍스트 추출 (Text Extraction): ANLS (Average Normalized Levenshtein Similarity) 를 사용하여 추출된 텍스트의 정확도 측정.
위치 파악 (Localization): 페이지 정확도 (Page Accuracy), 바운딩 박스 IoU, 정규화된 근접도 (Normalized Proximity).
스키마 매핑 (Schema Mapping): 예측된 키와 정답 키 간의 의미적 매핑을 위해 텍스트 전용 LLM(gpt-oss-20b) 을 활용하여 매핑 작업을 수행한 후 Recall, Precision, F1 을 계산.
3. 주요 기여 (Key Contributions)
EXSTRUCTINY 벤치마크 제안: KEE, RE, VQA 의 요소를 통합하고, 가변적인 스키마, 다중 엔티티 추출, 미답변 시나리오, 낮은 어휘 중첩 (Low Lexical Overlap) 을 포함하는 최초의 포괄적인 구조화 IE 벤치마크.
혁신적인 데이터 생성 파이프라인: 수동 주석과 LLM 기반 합성 데이터 생성, 그리고 인간 검증 (Human-in-the-loop) 을 결합하여 다양하고 도전적인 QA 를 대량으로 생성하는 프로세스 정립.
새로운 평가 프레임워크: 구조화된 출력의 다양성 (다른 키 이름, 다른 중첩 구조 등) 을 고려한 의미적 매핑 기반의 평가 방법론 제시.
광범위한 모델 성능 분석: 오픈 소스 및 클로즈드 소스 VLM 들의 성능을 심층 분석하여 현재 모델들의 한계점을 규명.
4. 실험 결과 (Results)
다양한 크기와 아키텍처의 VLM (Qwen, Gemma, Mistral, Gemini 등) 을 EXSTRUCTINY 에서 평가한 결과는 다음과 같습니다.
클로즈드 vs 오픈 소스: 클로즈드 소스 모델 (특히 Gemini-2.5-Pro) 이 오픈 소스 모델보다 전반적으로 우월한 성능을 보임 (최고 18 점 이상 차이).
모델 크기 효과: 오픈 소스 모델 내에서 모델 파라미터 크기가 커질수록 성능이 선형적으로 향상됨 (예: Qwen2.5-VL 3B -> 72B).
질문 유형별 난이도:
Plain Text Closed IE: 가장 쉬운 유형.
Schema Closed IE: 스키마 길이가 길고 엔티티 수가 많아 어려움.
On-demand IE: 가장 어려운 유형. 암시적 참조 해석과 구조 추론이 필요하여 대부분의 모델이 최저 점수를 기록.
추출 길이에 따른 성능 저하: 추출해야 할 값의 개수가 증가할수록 오픈 소스 모델의 성능이 급격히 하락하는 반면, 클로즈드 모델은 상대적으로 안정적임.
위치 파악 (Grounding) 의 어려움: 텍스트 추출은 정확하더라도 해당 텍스트의 위치 (바운딩 박스, 페이지) 를 정확히 찾는 능력은 모든 모델에서 낮음 (최대 IoU 14.4%).
문맥별 성능: 차트 (Chart) 와 자유 텍스트 (Free Text) 영역에서 모델들의 성능이 현저히 떨어짐.
수동 vs 합성 데이터: 수동 생성 데이터가 합성 데이터보다 약간 더 어려움 (모델 성능이 13.6% 낮음).
5. 의의 및 결론 (Significance & Conclusion)
현실적인 평가 기준: 기존 벤치마크가 놓치고 있던 "사용자 지정 스키마에 따른 구조화 추출"과 "미답변 처리" 등 실제 기업 환경에서 요구되는 복잡한 시나리오를 평가할 수 있는 기준을 마련했습니다.
모델 능력의 한계 규명: 현재 VLM 들이 텍스트 추출 자체는 어느 정도 잘하지만, 복잡한 스키마 적응, 암시적 질의 해석, 그리고 추출된 정보의 정확한 공간적 위치 파악 (Grounding) 에서는 여전히 큰 격차가 있음을 보여줍니다.
향후 연구 방향: 이 벤치마크는 시각 rich 문서에서의 구조화 정보 추출을 위한 일반화 모델 (Generalist Models) 개발의 토대가 되며, 더 적응력 있고 견고하며 의미적으로 grounded 된 추출 모델 연구의 필요성을 강조합니다.
이 연구는 문서 지능 (Document Intelligence) 분야에서 단순한 정보 추출을 넘어, 복잡한 비즈니스 요구사항을 충족하는 고급 구조화 추출 기술의 발전에 중요한 이정표가 될 것으로 기대됩니다.