기술 요약: MortarBench 및 CRIT

문제 정의

모기지 대출 실행 프로세스는 복잡한 리스크 평가와 규제 준수(예: Fannie Mae, Freddie Mac 가이드라인)를 포함하는 매우 중요하고 위험도가 높은 영역입니다. 기업들이 대출 담당자가 신청자의 금융 프로필을 은행 명세서와 대조하여 검증하는 것을 돕기 위해 LLM 에이전트를 점점 더 많이 통합하고 있지만, 업계에는 이 에이전트들을 평가하기 위한 표준화된 벤치마크가 부족합니다. 기존의 금융 QA 벤치마크는 비정형 은행 명세서와 정형화된 신청자 프로필(ULAD 파일)을 대조하여 불일치를 탐지하고, 특정 재무 지표를 계산하며, 규제 준수 여부를 확인해야 하는 모기지 언더라이팅의 특수한 과제들을 충분히 다루지 못합니다. 또한, 개인정보 보호 문제로 인해 실제 금융 데이터를 공유할 수 없다는 점은 현실적이고 엣지 케이스(edge-case)가 풍부한 평가 데이터셋 구축을 저해해 왔습니다.

방법론

1. MortarBench 데이터셋 생성

평가 표준의 부재를 해결하기 위해, 저자들은 MortarBench(Mortgage Transaction Analysis, and Reasoning Benchmark)를 도입합니다. 데이터셋 생성 파이프라인은 개인정보 보호 제약을 극복하면서도 내부적 일관성을 보장하기 위해 금융 데이터 합성 및 변이(mutation) 방식을 채택합니다:

• 데이터 합성: 저자들은 300개의 실제 은행 명세서를 샘플링하여 익명화된 요약 통계(급여, 주거 비용, 암호화폐, BNPL과 같은 거래 유형의 빈도 및 평균값)를 추출했습니다. 이 통계치를 사용하여 실제 세계의 분포와 일치하는 합성 은행 명세서(60일 기간)를 절차적으로 생성했습니다.
• ULAD 생성: Uniform Loan Application Dataset(ULAD) 파일은 Freddie Mac 스키마를 기반으로 템플릿 기반 접근 방식을 사용하여 생성되었습니다. ULAD 내의 값(자산, 부채)은 합성 은행 명세서로부터 직접 계산되어 일관성을 보장했습니다.
• 질문 및 답변 생성: 실제 운영 중인 대출 보조 챗봇에서 추출한 실제 질문들을 선별하고 전문가에 의해 정제했습니다. 질문은 세 가지 답변 유형(Boolean, 거래 목록(ID), 계좌 목록(ID))으로 분류되었습니다.
• 엣지 케이스를 위한 변이(Mutation): 엣지 케이스의 균형 잡힌 커버리지를 보장하기 위해, 저자들은 변이 함수를 설계했습니다. 특정 질문과 의도된 답변(예: "3건의 BNPL 거래")이 주어지면, 시스템은 문서의 일관성을 유지하면서 해당 결과가 강제로 나타나도록 은행 명세서와 ULAD를 프로그래밍 방식으로 편집합니다. 이를 통해 각 쿼리에 대해 긍정적 사례와 부정적 사례를 모두 생성할 수 있습니다.

최종 데이터셋은 47개의 고유 질문에서 파생된 188개의 테스트 케이스로 구성되며, 은행 명세서당 평균 거래 수는 33.6개입니다.

2. CRIT 프레임워크

기본 모델들이 심각한 과민성(높은 허위 양성, 일부 사례에서 허위 음성 제로)을 보인다는 점에 주목하여, 저자들은 CRIT(Confidence Reflection Inference for Transactions)를 제안합니다.

• 메커니즘: 에이전트는 답변에 포함될 잠재적 거래 목록을 직접 출력하는 대신, 포함된 각 거래에 대한 **신뢰도 점수(1–5)**를 생성합니다. 이 점수는 해당 거래를 포함하는 것을 정당화하기 위해 필요한 가정의 수와 강도를 바탕으로 한 정확성 확률을 반영합니다.
• 임계값 설정: 시스템은 하드 임계값($T=5$)을 적용하여, 신뢰도 점수가 이 값 미만인 모든 거래를 제외합니다.
• 목적: 이 접근 방식은 모델이 과민성에서 벗어나도록 유도하고, 리스크 관리 조향(steering)을 개선하며, 시스템이 낮은 신뢰도의 잠재적 오류 포함 건을 필터링할 수 있게 함으로써 편향을 줄이는 것을 목표로 합니다.

주요 결과

성능 지표

• 기본 성능: 최첨단 폐쇄형 모델들은 MortarBench에서 저조한 성능을 보였으며, 가장 우수한 베이스라인인 Gemini 3.1 Pro조차 77.1%의 Exact Match (EM) 정확도만을 달로했습니다.
• CRIT의 효과: CRIT 프레임워크는 테스트된 모든 모델의 성능을 향상시켰습니다. Gemini 3.1 Pro의 경우, CRIT를 통해 EM 정확도는 **80.5%**로, F1 점수는 83.6으로 증가했습니다.
• 오류 감소: CRIT는 가장 강력한 베이스라인 대비 14.8%의 오류 감소를 제공했습니다. 가장 유의미한 이득은 베이스라인 모델들이 과민성 문제로 어려움을 겪었던 거래 목록 질문에서 관찰되었습니다.
• 편향 완화: CRIT는 영어 이름과 비영어 이름 간의 "외국 기원(foreign origin)" 분류 격차를 Gemini 베이스라인 기준 77.0%에서 54.0%로 줄였습니다.

실패 분석

Gemini 베이스라인 모델의 오류가 있는 36개의 추론 궤적을 수동 검토한 결과, 네 가지 주요 실패 모드가 식별되었습니다:

1. 거래 오분류 (33.3%): 설명(description)을 바탕으로 거래를 잘못 분류함 (예: 개인 대출을 BNPL로 오인).
2. 가치 매칭 오류 (27.8%): 계산된 값을 명시된 한도와 올바르게 매칭하지 못함 (예: 렌트 비용이 ULAD 총액을 초과함).
3. 도메인 지식 부족 (22.2%): 산업 표준을 잘못 가정함 (예: 모든 송금이 해외 송금이라고 가정).
4. 제약 조건 오해 (11.1%): 프롬프트의 제약 조건을 잘못 해석함 (예: 일회성 결제를 반복 결제로 분류).

확률성과 일관성

저자들은 Risk Ratio(RR)를 사용하여 오류 일관성을 분석했습니다. 베이스라인 Gemini에서 12.7의 RR이 발견되었는데, 이는 오류가 무작위적인 확률적 현상이 아니라 모델 내의 일관된 잘못된 믿음(consistent false beliefs) 때문임을 나타냅려. 이는 모델이 진정한 이해가 아닌 부적절한 추론 패턴에 의존하고 있음을 시사합니다.

편향 분석

연구는 LLM의 비영어 이름에 대한 체계적인 편향을 드러냈습니다:

• 외국 기원 편향: 비영어 이름(특히 아랍어, 힌디어, 중국어와 같은 비라틴 문자)과 관련된 송금은 영어 이름의 경우(13.3%)에 비해 **77.0%**의 높은 비율로 "외국 기원"으로 분류되었습니다.
• 문자 스크립트 민감도: 편향은 비라틴 문자(93.3%)가 비영어 라틴 문자(52.5%)보다 더 두드라졌습니다.
• IVTS 편향: 비공식 가치 이전 시스템(IVTS) 사용자는 공식 결제 시스템에 비해 "외국" 분류에 대한 재현율(recall)이 더 높게 나타났으며, 이는 잠재적인 불평등한 처우를 나타냅니다.

의의 및 주장

본 논문은 다음과 같은 기여와 의의를 주장합니다:

1. 최초의 특화된 벤치마크: MortarBench는 모기지 언더라이팅 작업을 위해 특별히 설계된 최초의 벤치마크로, 모기지 산업의 LLM 에이전트 평가 역량 공백을 메웁니다.
2. 현실적인 엣지 케이스 커버리지: 변이 기반 파이프라인을 사용하여, 데이터셋은 실제 금융 데이터의 개인정보 보호 장벽을 극복하면서도 실제 분포와 일치하는 현실적인 엣지 케이스 커버리지를 성공적으로 생성했습니다.
3. 모델 약점 입증: 벤치마크는 현재의 프런티어 모델들이 과민성, 복잡한 목록 추론 문제로 어려움을 겪고 있으며, 비영어 이름 및 비공식 결제 시스템에 대해 상당한 편향을 보인다는 점을 폭로합니다.
4. 효과적인 완화 전략: CRIT 프레임워크는 정확도를 향상시킬 뿐만 아니라 **조향 가능성(steerability)**과 리스크 관리를 강화하는 인간 중심적 전략으로 제시됩니다. 사용자는 신뢰도 임계값을 조정함으로써 금융 맥락에서의 오류 비용에 따라 허위 양성과 허위 음성 사이의 트레이드오프를 조절할 수 있습니다.
5. 도메인 전문성의 필요성 제기: 오류 패턴 분석은 시스템 개선을 위해 단순히 더 큰 모델이 필요한 것이 아니라, 추가적인 인컨텍스트(in-context) 도메인 전문 지식과 일관된 잘못된 믿음을 교정하기 위한 관련 사후 학습(post-training)이 필요함을 시사합니다.

저자들은 LLM이 효율성 개선에 유망한 모습을 보이지만, 현재의 기술 수준에서는 특히 거래 목록 추론과 편향 완화 측면에서 인간의 개입(human-in-the-loop)이 필수적이라고 결론지었습니다.