LLMStructBench: Benchmarking Large Language Model Structured Data Extraction

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 인사, 금융, 물류, 전자상거래 등 다양한 분야에서 자연어 텍스트 (이메일, 보고서 등) 에서 구조화된 데이터 (JSON 등) 를 추출하는 작업은 필수적입니다. 최근 생성형 AI(LLM) 가 이러한 ETL(추출, 변환, 적재) 작업에 널리 활용되고 있습니다.
• 문제점:
  • LLM 이 생성한 JSON 출력이 **문법적으로 유효한지 (Syntactic Validity)**와 **의미적으로 정확한지 (Semantic Correctness)**에 대한 신뢰도가 충분히 규명되지 않았습니다.
  • 최신 모델조차 스키마 준수 (Schema Compliance) 와 의미적 정확성을 동시에 만족하지 못해 하위 시스템에서 파싱 실패나 데이터 손실이 발생할 수 있습니다.
  • 기존 벤치마크는 주로 제약된 디코딩 (Constrained Decoding) 엔진의 성능을 평가하거나, 합성 텍스트의 사실성 (Factuality) 에 초점을 맞추는 경향이 있어, 실제 자연어 메시지에서의 구조적 무결성과 값의 정확성 간의 트레이드오프를 체계적으로 분석한 연구가 부족했습니다.
• 목표: 오픈 소스 LLM 들의 구조적 데이터 추출 능력을 평가하고, 모델 크기와 프롬프트 전략이 JSON 생성의 신뢰도에 미치는 영향을 규명하는 새로운 벤치마크를 제안합니다.

2. 방법론 (Methodology)

A. 데이터셋 (LLMStructBench Dataset)

• 구성: 5 가지 실제 사용 사례 (Support tickets, Sick leave, Project extension, Conference registration, Loan request) 를 기반으로 한 995 개의 수동 검증된 샘플.
• 생성 과정:
  1. GPT-4o 를 사용하여 정의된 JSON 스키마에 맞는 데이터를 생성.
  2. 이를 자연어 이메일 형식으로 변환 (Synthetic generation).
  3. 수동 검증: 텍스트와 JSON 간의 불일치를 제거하고, 누락되거나 잘못된 값을 수정하여 Ground Truth(GT) 를 확보.
• 특징: 단순 키 - 값 쌍부터 중첩된 객체 배열 (Nested Object Arrays) 까지 다양한 복잡도를 포함하며, 각 시나리오마다 199 개의 테스트 케이스를 포함합니다.

B. 평가 지표 (Quality Metrics)

단순한 정확도뿐만 아니라 문서 수준의 유효성과 토큰 수준의 정확성을 모두 포착하기 위해 새로운 지표를 도입했습니다.

1. Micro-averaged F1 ($F1_{micro}$):
   • 각 키 - 값 쌍을 분류 인스턴스로 간주하여 정밀도 (Precision) 와 재현율 (Recall) 을 계산.
   • 키 성분 ($F1_{keys}$): 누락된 키 (Missing Key) 나 불필요한 키를 평가.
   • 값 성분 ($F1_{values}$): 값의 정확도를 평가. 완전 일치, 강제 변환 가능 (Coercible) 인 경우, 문자열 유사도 (Levenshtein 거리) 에 따라 부분 점수를 부여하거나 오류를 가중치 있게 패널티.
2. Document Success ($DOC_{micro}$):
   • 전체 테스트 중 완벽하게 유효한 JSON이 생성된 비율.
   • 파싱 실패, 빈 출력, 스키마 위반 등 '완전한 실패'를 감지하여 토큰 수준의 점수가 높아도 실제 파이프라인에서 쓸모없는 경우를 반영.
3. 종합 점수 (Composite Score):
   • $Score = (1-\lambda)F1_{micro} + \lambda DOC_{micro}$
   • $\lambda=0.5$로 설정하여 구조적 유효성과 내용 정확성을 동등하게 고려.

C. 실험 설정

• 모델: 22 개의 오픈 소스 LLM (Qwen3, Phi, Gemma3, Deepseek-R1, Llama3 계열) 과 참조용 GPT-4o 포함. 파라미터 수는 0.6B 에서 70B 까지 다양함.
• 프롬프트 전략 (5 가지):
  • API 의 format 파라미터 설정 유무 (JSON 문자열 vs JSON 스키마 객체).
  • 프롬프트 내 스키마 및 예시 포함 유무.
  • 주요 전략: P (프롬프트 내 스키마/예시 포함, API format 미설정), PJ+ (API format 설정 + 프롬프트 내 스키마/예시 포함) 등.

3. 주요 결과 (Key Results)

A. 프롬프트 전략의 영향력

• 모델 크기보다 프롬프트 전략이 더 중요: 모델의 파라미터 수보다 적절한 프롬프트 전략 선택이 구조적 유효성과 성능에 더 큰 영향을 미쳤습니다.
• P 전략 vs PJ+ 전략:
  • P 전략: 대부분의 모델에서 높은 정확도 ($F1_{micro}$) 를 보였으나, 일부 모델 (Phi 계열 등) 에서 파싱 실패 ($DOC_{micro}$) 가 빈번하게 발생했습니다.
  • PJ+ 전략: 구조적 유효성 ($DOC_{micro}$) 을 극대화하여 파싱 실패를 거의 없앴으나, 그 대가로 **의미적 오류 (Wrong Value, WV)**가 증가하는 경향이 있었습니다. 즉, JSON 구조는 완벽하지만 값이 틀린 경우가 많아졌습니다.

B. 모델 크기와 성능의 상관관계

• 비선형적 관계: 파라미터 수가 증가한다고 해서 성능이 비례하여 향상되지 않았습니다.
  • Gemma3-12B: 70B 급 모델들을 능가하는 상위권 성적을 기록하며, 작은 모델도 잘 튜닝되면 경쟁력이 있음을 증명.
  • Phi 계열: 3.8B 모델은 프롬프트 전략에 매우 취약했으나, 14B 모델은 중간 수준으로 개선됨.
  • Deepseek-R1: 32B 모델이 14B 나 70B 모델보다 낮은 성적을 기록하는 등, 크기만으로는 성능 보장이 안 됨.
• 오류 유형 변화:
  • 소규모 모델: 키 누락 (Missing Key, MK) 이 주된 오류.
  • 대규모 모델: 키 누락은 사라지지만, **값 오류 (Wrong Value, WV)**가 주된 병목 현상이 됨. (예: Deepseek-R1 70B 도 약 50% 의 테스트에서 값 오류 발생).

C. 오픈 소스 vs 폐쇄 소스

• GPT-4o는 최상위권 성능을 보였으나, Gemma3-27B나 Llama3-70B와 같은 최상급 오픈 소스 모델들과 큰 격차를 보이지 않았습니다. 이는 오픈 소스 모델이 실제 배포 환경에서 충분히 경쟁력 있음을 시사합니다.

4. 주요 기여 (Key Contributions)

1. 새로운 벤치마크 (LLMStructBench): 자연어에서 JSON 을 추출하는 995 개의 수동 검증된 데이터셋과 5 가지 프롬프트 전략을 통한 체계적인 평가 프레임워크 제공.
2. 정교한 평가 지표: 토큰 수준의 정확도 ($F1_{micro}$) 와 문서 수준의 유효성 ($DOC_{micro}$) 을 모두 고려한 종합 점수 체계 제안. 이는 기존 연구들이 간과했던 '구조적 무결성'과 '의미적 정확성' 간의 균형을 평가할 수 있게 함.
3. 실무적 통찰: 모델 크기보다 프롬프트 엔지니어링과 모델 - 프롬프트 호환성이 구조적 데이터 추출 성능을 결정하는 핵심 요소임을 입증. 특히, PJ+ 전략이 구조적 안정성을 보장하지만 의미적 오류를 유발할 수 있다는 트레이드오프를 명확히 제시.

5. 의의 및 결론 (Significance & Conclusion)

• 실무 적용: 데이터 통합 및 ETL 파이프라인에서 LLM 을 도입할 때, 단순히 큰 모델을 선택하는 것보다 모델 특성에 맞는 프롬프트 전략을 선택하고, 생성된 JSON 에 대한 **후처리 검증 (Post-generation validation)**이 필수적임을 강조합니다.
• 연구 방향: 향후 연구는 모델의 규모 확장보다는 스키마 준수와 의미적 정확성을 동시에 달성하는 프롬프트 기법이나 특화된 파인튜닝에 집중해야 함을 시사합니다.
• 결론: LLM 이 구조화된 데이터를 추출할 때, "올바른 구조"를 만드는 것과 "올바른 값"을 채우는 것은 서로 다른 도전 과제이며, 이를 해결하기 위해서는 모델 크기보다 프롬프트 설계와 검증 메커니즘이 더 결정적인 역할을 합니다.