기술 요약: K-FinHallu

문제 제기

대형 언어 모델 (LLM) 은 검색 증강 생성 (RAG) 을 통해 금융 자동화를 발전시켰지만, 할루시네이션 (환각) 은 여전히 고위험 금융 환경에서의 배포를 위한 주요 장벽으로 남아 있습니다. 할루시네이션 탐지를 위한 기존 벤치마크는 실제 금융 서비스에 적용될 때 두 가지 주요 격차를 겪고 있습니다:

1. 단일 턴 제한: 대부분의 벤치마크는 단일 턴 작업에 초점을 맞추고 있어, 컨텍스트 추적 실패, 대명사 해결 오류, 이전 턴과의 논리적 불일치로 인해 발생하는 할루시네이션을 포착하지 못합니다.
2. 언어 및 규제 격차: 기존 데이터셋은 주로 영어 중심이며 서구 기관에 기반을 두고 있어, 한국 금융 도메인의 고유한 뉘앙스를 간과합니다. 여기에는 특정 규제 체계 (예: 전세 임대 시스템), 교착어 형태론, 그리고 단순 번역으로 해결할 수 없는 다의성 한자어 전문 용어가 포함됩니다.

결과적으로, 특히 "정당한 거절 (답변하지 않을 때를 아는 것)"과 관련하여 다중 턴 한국 금융 RAG 시스템의 도메인 특화 할루시네이션을 탐지할 엄격한 평가 프레임워크가 부족합니다.

방법론

저자들은 AI-Hub 의 "한국 금융 및 법률 문서 기계 독해"데이터셋을 기반으로 금융 카테고리로 필터링하여 구축된, 한국 금융 RAG 의 다중 턱 할루시네이션 탐지를 위한 최초의 벤치마크인 K-FinHallu를 소개합니다.

데이터셋 구축

• 소스 코퍼스: 데이터셋은 AI-Hub 의 "한국 금융 및 법률 문서 기계 독해"데이터셋을 기반으로 금융 카테고리로 필터링하여 구축되었습니다. 데이터 누수를 방지하기 위해 테스트 세트는 금융감독원 (FSS) 과 한국소비자원에서 추출되었고, 학습 세트는 서로 다른 기관을 사용했습니다.
• 신뢰할 수 있는 대화 생성: GPT-4o 를 활용한 파이프라인이 사용자와 어시스턴트 간의 다중 턴 대화 (4~8 턴) 를 시뮬레이션합니다. 어시스턴트는 소스 문서의 골드 패시지와 단서 텍스트에 엄격히 근거하여 응답을 생성합니다. 이 파이프라인에는 컨텍스트 추적을 테스트하기 위한 "재확인"턴이 포함됩니다.
• 검색 시뮬레이션: 검색 오류로부터 할루시네이션 탐지를 분리하기 위해, 시스템은 제어된 검색 컨텍스트 ($P_n$) 를 제공하여 RAG 를 시뮬레이션합니다.
  • 답변 가능한 시나리오: $P_n$에 골드 패시지가 포함됩니다.
  • 답변 불가능한 시나리오: $P_n$은 답변이 없는 의미상 유사한 패시지인 "하드 네거티브"로만 구성됩니다.
• 할루시네이션 주입: 제안된 계층적 분류에 기반하여 자동화 파이프라인이 신뢰할 수 있는 대화에 미묘한 할루시네이션을 주입합니다. 전략으로는 자연스러움을 유지하면서 치명적인 오류를 도입하기 위한 최소한의 편집 (예: 금융 용어 교체, 숫자/수식어 변경) 이 포함됩니다. 모델별 아티팩트를 완화하기 위해 GPT-4o 와 Gemini-2.5-Flash 두 가지 주입 소스를 사용합니다.
• 품질 관리: 대화와 주입된 할루시네이션은 답변 가능성, 타당성, 자연스러움과 같은 기준에 대해 LLM-as-a-judge 와 인간 주석을 통한 엄격한 필터링을 거치며, 높은 일치도 (Gwet's AC1 > 0.70) 를 보장합니다.

할루시네이션 분류

이 논문은 컨텍스트 답변 가능성에 기반한 분류를 제안합니다:

1. 답변 가능한 시나리오:
   • 모순: 응답이 컨텍스트나 대화 역사와 충돌합니다.
   • 검증 불가: 응답이 컨텍스트에서 지지되지 않는 외부 주장을 포함합니다.
   • 무관함: 응답이 사용자의 의도와 논리적으로 단절되어 있습니다.
   • 부당한 거절: 충분한 증거가 있음에도 불구하고 모델이 답변을 거부합니다.
2. 답변 불가능한 시나리오:
   • 부당한 수용: 증거가 없음에도 불구하고 모델이 답변을 제공합니다.
   • 정당한 거절: 모델이 올바르게 답변을 거절합니다 (원하는 행동).

주요 기여

1. K-FinHallu 벤치마크: 실제 문서를 기반으로 다양한 금융 도메인 (예: 금융 경제, 보험) 을 포괄하는 한국 금융 RAG 를 위한 최초의 다중 턴 할루시네이션 탐지 벤치마크를 공개했습니다.
2. 계층적 분류: 다중 턴 대화에서 정당한 거절을 명시적으로 고려하여 "부당한 거절"과 "정당한 거절"을 구분하는 새로운 분류를 제시했습니다.
3. 확장 가능한 구축 파이프라인: 주입 파이프라인이 자동으로 학습 분할을 생성할 수 있음을 입증하여, 8B 규모의 소형 모델을 파인튜닝하여 최첨단 LLM 과 맞먹거나 능가할 수 있게 했습니다.

실험 결과

저자들은 GPT-5, Gemini-2.5, Llama-3, Qwen3, 그리고 한국 중심 모델들을 포함한 최첨단 및 오픈소스 LLM 을 할루시네이션 탐지기로서 벤치마크했습니다.

• 이진 탐지: 폐쇄형 모델이 성능을 주도했으며, Gemini-2.5-Flash 가 가장 높은 F1 점수 (0.860) 를 달성했습니다. Qwen3-32B(F1 0.732) 와 같은 오픈소스 모델은 경쟁력 있는 성능을 보였으나, 한국 중심 모델들은 유사한 크기의 글로벌 모델들에 비해 뒤처졌습니다.
• 다중 클래스 탐지: 이진 탐지에서 특정 유형의 할루시네이션을 식별하는 다중 클래스 진단으로 이동할 때 성능이 크게 저하되었습니다. 가장 강력한 모델조차도 세밀한 진단에 어려움을 겪었습니다.
• 거절 행동: "정당한 거절"은 모든 모델에서 가장 약한 축으로 남았습니다. 대부분의 기본 모델은 정당한 거절과 부당한 거절을 구분하지 못했으며, 종종 한 가지 유형만을 예측했습니다.
• 파인튜닝 영향: 근거 감독 (rationale supervision)(모델이 레이블 전에 추론 흔적을 출력하도록 학습) 을 사용하여 8B 모델 (Qwen3-8B) 을 파인튜닝한 결과, 전체 정확도가 0.896으로 달성되어 GPT-5(0.855) 를 포함한 모든 기본 모델을 능가했습니다. 이 접근 방식은 할루시네이션 탐지 정확도를 (0.446 에서 0.864 로) 크게 향상시켰습니다.
• 하위 유형 분석: "금융 용어 오해"는 주요 병목 현상으로 남았으며, 모델 규모가 커짐 (최대 32B) 에 따라 개선이 미미하여 어휘 매칭을 넘어선 더 깊은 도메인 전문성이 필요함을 시사합니다.

의의 및 주장

이 논문은 K-FinHallu 가 다중 턴, 언어적 뉘앙스, 규제 인식을 갖춘 벤치마크의 필요성, 특히 금융 AI 평가의 중요한 격차를 해결한다고 주장합니다. 저자들은 다음과 같은 점을 강조합니다:

• 정당한 거절의 중요성: 증거가 없을 때 올바르게 답변을 거절하는 능력은 금융 RAG 에서 중요하지만 평가가 부족한 차원입니다.
• 소형 모델의 경쟁력: 근거 감독을 통해 파인튜닝된 8B 모델은 최첨단 LLM 과 경쟁하거나 능가하는 성능을 달성할 수 있어, 오픈소스 탐지기 개발을 위한 실용적인 경로를 제공합니다.
• 도메인 특이성의 중요성: 금융 용어 이해에서의 오류 지속성은 일반적 확장 법칙이 한국 금융 전문 용어의 도메인 특화 의미 변화를 자동으로 해결하지 못함을 보여줍니다.

이 연구는 현재 LLM 에 대한 스트레스 테스트 역할을 하여, 고위험 금융 환경에서의 신뢰할 수 있는 배포에 필요한 세밀한 진단과 거절 행동에 있어 최첨단 모델조차 어려움을 겪고 있음을 드러냈습니다.