From Forecasts to Auditable Reports: Evidence Contracts for LLM-Assisted Housing-Guarantee Risk Monitoring

기술 요약: 예측에서 감사 가능한 보고서로

문제 설정
공공 주택 보증 기관은 노이즈가 섞인 익월 위험 예측치를 적시성 있고 감사 가능한 운영 보고서로 변환하는 데 있어 중대한 과제에 직면해 있다. 한국의 전세 보증 시장 맥락에서 이 작업은 세 가지 요인으로 인해 복잡해진다: (1) 상위 꼬리 위험 이벤트(보증 사고)의 희소성으로 인해 평균 오차 최소화만으로는 위험 모니터링에 불충분하다는 점, (2) 외부 대규모 언어 모델(LLM)로 원본의 기밀 보증 기록을 전송하는 것을 방지하는 데이터 거버넌스 제약, (3) 유창한 LLM의 서사가 증거를 날조하거나, 수치 단위를 왜곡하거나, 과거의 유사 사례를 허구로 만들어낼 수 있는 "환각(hallucination)"의 위험이다. 핵심 문제는 단순한 예측이 아니라, 증거에 의해 제약된 위험 커뮤니케이션(evidence-constrained risk communication), 즉 민감한 소스 데이터를 노출하지 않으면서도 특정 데이터에 근거하고 검증 가능하며 분석가의 검토에 적합한 보고서를 생성하는 것이다.

방법론
저자들은 통계적 예측과 서사 생성을 분리하고, 그 사이에 구조화된 "증거 계약(evidence contracts)"을 삽inserting 하는 **증거 제약 보고 파이프라인(evidence-constrained reporting pipeline)**을 제안한다.

1. 위험 민감형 예측 백본:

   • 시스템은 **Temporal Fusion Transformer (TFT)**를 사용하여 익월 세그먼트별 보증 사고율을 예측한다.
   • 평균 절대 오차(MAE)를 최적화하는 표준 모델과 달리, TFT는 **후회 기반 목적 함수(regret-style objective)**를 사용하여 학습된다. 이 비대칭 손실 함수는 저위험 세그먼트를 과대 예측할 때보다 고위험(우측 꼬리) 이벤트를 과소 예측할 때 더 높은 페널티를 부과하여, 놓친 경고에 따른 운영 비용에 모델을 정렬시킨다.
   • 결정적으로, TFT는 내부의 변수 선택(variable-selection) 및 시간적 주의(temporal-attention) 가중치를 노출하며, 이는 예측에 대한 "근거(rationale)" 역할을 한다.

2. 모델 추론 검색:

   • 원본 데이터를 유출하지 않고 관련 과거 사례를 찾기 위해, 시스템은 TFT의 변수 선택 및 시간적 주의 행렬을 결합하여 **모델 추론 표현($Z_{i,t}$)**을 구축한다.
   • **중심 커널 정렬(Centered Kernel Alignment, CKA)**을 사용하여 현재 윈도우의 추론 행렬과 과거 윈도우 간의 유사도를 측정한다. 이는 단순히 원시 공변량 값뿐만 아니라, 모델이 어떻게 추론했는지(변수-시간 패턴)를 기준으로 "유사 사례"를 검색한다.
   • 고위험 참조 윈도우는 실제 발생한 결과를 바탕으로 별도로 선택되어, 시스템이 "유사한 추론"과 "심각한 과거 결과"를 구분할 수 있도록 보장한다.

3. 증거 계약 및 구조화된 보고:

   • LLM이 호출되기 전, 결정론적 모듈이 **타입 지정 증거 계약(Typed Evidence Contract, $E_{i,t}$)**을 컴파일한다. 이 계약에는 예측값, 기준선, 방향 라벨(상승/하락/보합), 주요 동인, 시간적 증거, 유사 사례, 고위험 참조, 그리고 유의 사항 등의 고정된 필드가 포함된다.
   • LLM은 이 계약의 내용을 구어체로 표현하도록 엄격히 제한된다. 새로운 예측, 동인 또는 역사적 유사 사례를 생성하는 것은 금지된다.
   • 세 가지 인터페이스가 테스트된다: Raw Data (비구조화된 컨텍스트), Evidence Card (타입 지정 계약이 추가됨), Structured Report (계약 + 고정된 보고 문법).

4. 감사 프로토콜:

   • 결정론적 감사 계층이 생성된 초안을 증거 계약과 대조하여 검증한다. 이는 방향의 일관성, 수치의 충실도, 단위의 정확성, 특징의 유효성, 그리고 근거 없는 추론의 부재를 확인한다.
   • 출력물은 자동화된 합격/불합격 결정이 아니라, 어떤 클레임이 분석가의 검증을 필요로 하는지를 나타내는 플래그(flag) 세트이다.

주요 기여

1. 정식화: 본 논문은 주택 보증 모니터링을 순수한 예측 작업이 아니라, 역량 및 거버넌스 제약 하에서 감사 가능한 검토 증거로 변환하는 과정으로 재정의한다.
2. 워크플로우: 보고서 생성 전에 예측값, 모델 유도 동인, 영향력 있는 기간, 그리고 역사적 선례를 연결하는 증거 구축 워크플로우를 도입하여, LLM이 허용된 사실 집합 내에서 작동하도록 보장한다.
3. 평가: 본 연구는 꼬리 민감형 예측 유용성, 보고서 충실도(근거 설정), 감사 가능성, 그리고 51명의 분석가가 참여한 전문가 평가를 통해 다각적인 관점에서 파이프라인을 평가한다.

결과

• 예측 성능: 후회 기반으로 학습된 TFT는 고위험 이벤트를 탐지하는 데 있어 표준 모델(LSTM, DLinear, LightGBM)을 크게 능가했다. LSTM은 가장 낮은 MAE(0.027)를 달성했지만, P90 재현율(recall)은 0.080에 불과했다. 제안된 TFT-Regret 모델은 MAE의 소폭 상승(0.041)을 감수하면서도 0.560의 P90 재현율을 달산하여(25개의 실제 고위험 사례 중 14개를 포착), 고위험 이벤트를 효과적으로 드러냈다.
• 보고 품질: 8개의 LLM에 걸쳐, 구조화된 증거 계약을 사용하는 것이 원시 데이터 입력에 비해 보고 품질, 수치 충실도 및 클레임 수준의 근거 설정을 일관되게 향상시켰다.
• 전문가 검증: 51명의 분석가 및 도메인 전문가를 대상으로 한 연구에서, 대다수는 증거 제약 보고서가 실제 검토 및 의사 결정에 실질적으로 유용하다고 평가했다. 대부분의 참가자는 이 보고서가 필요한 "분석가 개입(analyst-in-the-loop)" 워크플로우를 지원한다는 점을 언급하며 운영 파일럿 실시를 지지했다.

의의 및 주장
본 논문은 고위험 금융 모니터링에서 신뢰할 수 있는 LLM 지원 보고는 예측 모델만으로는 불가능하다고 주장한다. 대신, 구조화된 증거, 명시적 검증, 그리고 분석가의 감독이 결합되어야 한다.

저자들은 자신들의 접근 방식이 개방형 생성을 경계가 획정되고 검증 가능한 보고로 성공적으로 전환했다고 주장한다. 모델 출력을 인과적 설명이 아닌 "감사 지향적 증거"로 취급하고, 생성 전 엄격한 증거 계약을 강제함으로써 시스템은 환각과 데이터 유출 위험을 완화한다. 연구 결과는 운영 리스크 모니터링에 있어 AI 시스템의 가치가 유창한 텍스트를 생성하는 능력이 아니라, 인간의 판단을 뒷받침할 수 있는 허용 가능하고 검증된 증거를 조직하고 제시하는 능력에 있음을 시사한다. 이 시스템은 분석가를 대체하는 것이 아니라 보조하도록 설계되었으며, 최종적인 리스크 판단이 투명한 증거 기반 경로에 의해 뒷받침되는 인간의 책임으로 남도록 보장한다.