Beyond Logprobs: A Multi-Signal Confidence Engine for LLM-Based Document Field Extraction

기술 요약: Logprobs를 넘어: LLM 기반 문서 필드 추출을 위한 다중 신호 신뢰 엔진

문제 정의

고도의 정밀도가 요구되는 문서 처리 파이프라인(예: 금융 결산, 컴플라이언스)에서 핵심적인 과제는 단순히 추출 정확도를 높이는 것이 아니라, **신뢰할 수 있는 신뢰도 추정(reliable confidence estimation)**입니다. 추출된 결과가 "조용히 틀리는(silently wrong)" 현상은 눈에 띄게 부재한 것보다 더 큰 위험을 초래합니다. LLM 추출의 신뢰도를 추정하는 현재의 방법들—구체적으로 토큰 수준의 로그 확률(log-probabilities), 언어적 자기 평가(verbalized self-assessment), 그리고 다중 샘플 자기 일관성(multi-sample self-consistency)—은 생성된 토큰 시퀀스의 신뢰도만을 측정할 뿐, 추출물이 원본 문서에 얼마나 근거하고 있는지를 측정하지 못하기 때문에 실질적인 임계값에서 "모두 긍정"으로 분류되는 경계 붕괴 현상을 보입니다. 결과적으로, 모델은 읽기 어려운 OCR 노이즈에 대해 높은 로그 확률을 부여하며 확신을 가지고 잘못 전사하거나, 존재하지 않는 필드에 대해 그럴듯한 값을 환각(hallucination)하여 생성할 수 있습니다.

방법론: EXTRACTCONF 아키텍처

본 논문은 이질적인 여러 소스로부터 신뢰성 신호를 구축하는 교차 도메인, 필드 불가지론적(field-agnostic) 신뢰 엔진인 EXTRACTCONF를 제안합니다. 핵심 혁신은 동일한 문서를 구조적으로 비대칭적인 프롬프트를 사용하여 두 번 읽게 함으로써 서로 다른 실패 모드를 유도하는 이중 호출 헌터-매퍼(Dual-Call Hunter–Mapper) 설계입니다.

1. 헌터 호출 (Hunter Call, 필드 가이드형): 스키마 슬롯 완성 압박(schema-slot completion pressure) 하에서 특정 필드 $f$를 추출하도록 요청받습니다. 이 방식은 모호하거나 부재하는 필드에 대해 스키마를 충족시키기 위해 그럴듯한 값을 환각하는 경향이 있습니다.
2. 매퍼 호출 (Mapper Call, 문서 가이드형): 특정 필드에 얽매이지 않고, 실제 존재하는 내용에 기반하여 후보 값을 찾아내도록 문서를 총체적으로 스캔하도록 요청받습니다. 이 방식은 시각적으로 두드러지지 않는 필드는 놓칠 수 있으나, 값을 찾아냈을 때는 신뢰도가 높습니다.

두 호출 사이의 **불일치(disagreement)**는 독립적인 신뢰성 신호 역할을 합니다. 만약 헌터는 값을 보고했으나 매퍼는 침묵하거나, 혹은 두 값이 충돌한다면 이는 진정한 추출의 모호성을 나타냅니다.

특징 융합(Feature Fusion):
EXTRACTCONF는 5개의 신호 그룹에 걸친 40개의 특징을 그래디언트 부스팅 이진 분류기(CatBoost)로 융합합니다:

• LLM 내부 불확실성: 두 호출의 로그 확률 및 섀논 엔트로피(Shannon entropy)의 토큰 수준 통계(평균, 최소값, 백분위수).
• OCR 근거 및 값 신뢰도: 추출된 값과 레이블을 원본 OCR 토큰 목록과 매칭하여 도출한 영역 수준 신뢰도 점수(값-내-OCR 매치 지표 및 후보 경쟁 지표 포함).
• 교차 호출 일치도: 헌터와 매퍼 출력 간의 정확한 일치 여부 및 유사도 점수(Levenshtein/FuzzyWuzzy).
• 공간적 이웃 및 중심점: 주의를 기울인 영역의 경계 상자(bounding box)에서 파생된 특징(두 호출 간의 중심점 거리(divergence) 및 로컬 이미지 품질을 나타내는 정규화된 라플라시안 날카로움 포함).
• 필드 유형 인코딩: 유형 조건부 캘리브레이션을 가능하게 하는 추론된 필드 유형(숫자, 날짜 등)의 원-핫 인코딩.

후처리:
시스템은 기본 모델의 가중치를 변경하지 않고도 캘리브레이션 지표(ECE, Brier score)를 개선하기 위해 아이소토닉 회귀(Isotonic Regression, M7) 또는 Lasso 정규화 로지스틱 회귀(Lasso-regularised logistic regression, M8)를 사용한 사후 캘리브레이션을 지원합니다.

주요 기여

1. 이중 호출 비대칭성: 두 가지 구조적으로 다른 LLM 호출이 동일한 문서에 접근하여, 서로 보완적이며 정보력이 있는 실패 모드를 생성하는 헌터-매퍼 아키텍처를 도입했습니다.
2. 다중 신호 융합: 교차 호출 불일치, LLM 내부 불확실성, OCR 품질, 공간적 배치를 융합하는 것이 단일 신호 접근 방식보다 우수함을 입증했습니다.
3. 베이스라인 실패 분석: 로그 확률 평균, 언어적 신뢰도, 5회 자기 일관성 등의 표준 베이스라인이 라우팅 신호로서 실패함을 보여주며, 특히 자기 일관성은 라우팅 품질(AURC) 개선이 미미함에도 불구하고 API 비용을 5배나 발생시킴을 밝혔습니다.
4. 문서 품질의 지배력: OCR 신뢰도, 이미지 선명도와 같은 문서 측 신호가 모델 내부의 불확실성 지표보다 정답 예측에 더 중요한 예측 변수임을 확립했습니다.
5. 제로샷 일반화: 가벼운 Lasso 캘리브레이션을 통해 핵심 분류기를 재학습하지 않고도 신뢰성 신호가 다양한 문서 도메인(예: 인보이스에서 영수증으로) 간에 일반화될 수 있음을 증명했습니다.

실험 결과

DocILE(26%의 자연적 실패율을 가진 55개 필드 인보이스) 및 CORD(영수증) 데이터셋을 통한 제로샷 전이 평가 결과:

• 판별력 (AUC): EXTRACTCONF는 0.928 ROC AUC를 달성하여, 로그 확률 평균(0.705) 및 자기 일관성(0.744)을 크게 앞질렀습니다.
• 라우팅 품질 (AURC): 시스템은 로그 확률 평균(0.043) 대비 AURC를 70% 감소시켰습니다(0.145).
• 운영 정확도: 80% 커버리지(상위 80%의 예측 자동화)에서 EXTRACTCONF는 99.1%의 정확도를 기록하며, 기본 비율인 73.3% 대비 25.8포인트 향상되었습니다.
• 캘리브레이션: 사후 캘리브레이션(M7/M8)은 기대 캘리브레이션 오차(ECE)를 최대 **83%**까지 감소시켰습니다.
• 제로샷 전이: CORD 영수증 데이터셋에서 재학습 없이도 0.858 AUC를 달성했습니다. Lasso 캘리브레이션은 ECE를 89%, Brier score를 43% 감소시켜 신호의 도메인 불가지론적 특성을 확인시켜 주었습니다.

의의 및 주장

본 논문은 문서 처리에서의 추출 오류가 모델의 문제가 아니라 문서에 의한 문제(예: 판독 불가능한 소스 자료, 모호한 레이아웃)라고 주장합니다. 따라서 토큰 확률에 의존하는 것은 구조적으로 결함이 있는데, 모델이 노이즈를 바탕으로 확신을 가지고 환각을 일으킬 수 있기 때문입니다.

EXTRACTCONF의 의의는 고신뢰도 예측은 자동화하고 저신뢰도 사례는 인간의 검토로 라우팅하는 실질적인 Human-in-the-loop 워크플로우를 가능하게 한다는 점에 있습니다. 저자들은 헌터-매퍼 간의 불일치가 단일 호출이나 리샘플링 방식에서는 얻을 수 없는 신뢰 신호를 제공하며, 다중 신호 융합이 고정된 낮은 API 비용(문서당 두 번의 호출)을 유지하면서도 기존 베이스라인보다 판별력과 캘리브레이션 측면에서 강력한 도메인 불가지론적 신뢰 엔진을 구축한다고 주장합니다.