💬 NLP

FinRAG-12B: A Production-Validated Recipe for Grounded Question Answering in Banking

FinRAG-12B 는 40 개 이상의 금융 기관을 위해 고도로 정확하고 근거 기반이며 비용 효율적인 질문 응답을 제공하기 위해 전문화된 학습 파이프라인과 보정된 거절 메커니즘을 결합한 120 억 파라미터 규모의 프로덕션 검증 데이터 효율성 프레임워크로, 인용 품질과 쿼리 해결 측면에서 GPT-4.1 을 능가하면서도 지연 시간과 운영 비용을 크게 절감합니다.

원저자: Denys Katerenchuk, Pablo Duboue, Keelan Evanini, David Gondek, Nithin Govindugari, Olivier Allauzen, Joshua Baptiste, David J More, Joshua Schechter

게시일 2026-05-08

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Denys Katerenchuk, Pablo Duboue, Keelan Evanini, David Gondek, Nithin Govindugari, Olivier Allauzen, Joshua Baptiste, David J More, Joshua Schechter

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

은행에 새로운 보조 직원을 채용한다고 상상해 보세요. 당신은 은행의 규칙을 속속들이 알고, 무엇보다도 사실을 지어내지 않는, 지극히 똑똑한 누군가가 필요합니다. 만약 그들이 답을 모른다면, 추측하여 은행을 곤란에 빠뜨릴 수 있는 잘못된 금융 조언을 하는 대신 "모르겠습니다"라고 말해야 합니다.

이 논문은 바로 이 일을 위해 설계된 전문 AI 보조 도구인 FinRAG-12B를 소개합니다. 저자들이 이를 어떻게 구축했고 왜 작동하는지 간단히 설명하겠습니다.

문제: "너무 순종적인" 보조 도구

일반적인 AI 모델 (온라인에서 채팅할 수 있는 것들) 은 이야기 쓰기나 코딩에는 뛰어나지만, 은행 업무에서는 나쁜 습관이 하나 있습니다. 바로 너무 기꺼이 만족시키려 한다는 점입니다. 기억에서 답을 찾을 수 없는 질문을 받으면, 그들은 종종 그럴듯한 소리를 내며 답을 지어냅니다. 은행에서는 이것이 위험합니다. 고객이 모기지 페널티에 대해 묻고 AI 가 틀리게 추측하면, 소송이나 금전적 손실로 이어질 수 있습니다.

해결책: 똑똑하고 정직한 보조 도구를 위한 "레시피"

연구팀은 120 억 개의 파라미터를 가진 AI(매우 크지만 거대하지는 않은 뇌라고 생각하세요) 를 제작하고, 이러한 문제들을 해결하기 위해 특정 "레시피"로 훈련시켰습니다. 그들은 단순히 거대한 데이터 더미를 공급한 것이 아니라, 세 가지 구체적인 기술을 가르치기 위해 고품질의 소규모 데이터셋 (단 1 억 4,300 만 개의 "토큰" 또는 단어) 을 선별했습니다.

1. "인용" 기술 (작업 과정 보여주기)

시험을 치르는 학생을 상상해 보세요. 일반적인 AI 는 단순히 답만 적을 수 있습니다. FinRAG-12B 는 작업 과정을 보여줘야 하는 학생처럼 훈련됩니다.

구현 방법: 그들은 AI 가 제공된 특정 문서 (예: 은행 정책 매뉴얼) 만을 사용하여 질문에 답하도록 하는 훈련 파이프라인을 만들었습니다.
결과: AI 가 답변할 때, 자신의 답변을 뒷받침하는 문서의 정확한 문장을 가리킵니다. 단순히 추측하는 대신 "정책 4 페이지에 따르면 수수료는 50 달러입니다"라고 말하도록 배웠습니다. 테스트에서 이 모델은 가장 진보된 상용 AI 모델들보다 이 부분에서 더 뛰어났습니다.

2. "정직함" 기술 (언제 멈출지 알기)

이 부분이 가장 중요합니다. 연구팀은 AI 가 답할 수 있는 질문만으로 훈련되면 "모르겠습니다"라고 말하는 법을 배우지 못한다는 것을 깨달았습니다.

비유: 학생이 답을 알고 있는 질문만 하는 선생님을 상상해 보세요. 학생은 무지를 인정하는 법을 배우지 못할 것입니다.
해결책: 연구팀은 의도적으로 제공된 문서에 답이 없는 질문을 22% 포함시켜 AI 에게 공급했습니다. 이 경우 정답은 "모르겠습니다"임을 가르쳤습니다.
결과: AI 는 "보정 (calibrated)"되는 법을 배웠습니다. 불확실할 때 (12% 의 경우) 답변을 거부합니다. 이는 추측을 95% 나 하던 기본 모델보다 훨씬 안전하며, 너무 자주 거절하는 (20% 의 경우) 다른 모델들보다 덜 성가십니다.

3. "커리큘럼" 학습 (AI 에게 schooling 시키기)

그들은 모든 데이터를 한 번에 AI 에게 쏟아부은 것이 아니라, 학교 시스템과 같은 "커리큘럼" 접근 방식을 사용했습니다.

1 단계 (일반 학교): 오픈소스 데이터를 사용하여 AI 에게 일반적인 금융 언어를 가르쳤습니다. 이는 탄탄한 기초를 제공했습니다.
2 단계 (전문 훈련): 그다음 실제 사설 은행 대화와 특정 규칙을 소개했습니다.
중요성: 만약 이 두 가지 유형의 데이터를 무작위로 섞었다면, AI 는 혼란을 겪고 성능이 저하되었을 것입니다. 단계별로 가르침으로써 규칙을 먼저 배운 후, 이를 실제 상황에 적용하는 법을 배웠습니다.

실제 결과: "라이브 테스트"

저자들은 이를 실험실에서만 테스트한 것이 아니라 40 개 이상의 금융 기관에 배포했습니다. 여기서 일어난 일은 다음과 같습니다.

해결된 질문 증가: 새로운 AI 는 사람이 개입할 필요 없이 이전 시스템보다 고객 질문을 7.1% 더 성공적으로 답변했습니다.
속도와 비용: 최상급 상용 AI API 를 사용하는 것보다 3 배에서 5 배 더 빠릅니다. 더 중요한 것은 실행 비용이 20 배에서 50 배 더 저렴하다는 점입니다.
- 비유: 이전 상용 AI 를 사용하는 것은 마트까지 짧은 여행을 위해 개인 제트기를 타는 것과 같습니다. FinRAG-12B 는 신뢰할 수 있고 효율적인 전기차를 운전하는 것과 같습니다. 더 빠르게 목적지에 도달하고 가격의 일부로 해결합니다.
고객 만족도: 개별 답변의 품질이 극적으로 변한 것은 아니지만, 더 많은 질문이 성공적으로 해결되었기 때문에 전반적으로 고객이 더 만족했습니다.

요약

FinRAG-12B 는 정직하고, 근거에 기반하며, 효율적이도록 훈련된 전문 은행 AI 입니다. 출처를 인용하고 답을 모를 때 인정하도록 가르침으로써, 저자들은 시중에서 구할 수 있는 대안들보다 은행에 더 안전하고, 실행 비용이 저렴하며, 실제로 더 많은 고객 문제를 해결하는 시스템을 만들었습니다.

한계점에 대한 참고: 저자들은 이것이 대출과 계좌와 같은 은행 질문으로 구체적으로 테스트되었음을 주의 깊게 명시합니다. 주식 거래나 보험에는 아직 적용된다고 주장하지 않으며, 개인정보 보호법으로 인해 비공개 훈련 데이터를 공유할 수는 없었지만 공개된 훈련 방법은 공유했다고 덧붙였습니다.

기술 요약: FinRAG-12B

문제 제기

은행 분야에서 대규모 언어 모델 (LLM) 의 도입은 사실적 정확성, 규제 준수, 검증 가능한 근거에 대한 엄격한 요구 사항으로 인해 방해받고 있습니다. 상용 모델은 종종 환각, 과도한 동의적 행동 (치켜세우기), 그리고 금리 및 기관 정책과 같은 역동적이고 도메인 특화 데이터와의 정렬 부재로 고통받습니다. 검색 증강 생성 (RAG) 시스템에서 모델은 검색된 컨텍스트를 무시하거나, 관련 없는 구절을 의존하거나, 정보가 없을 때 답변을 조작할 수 있습니다. 이는 상당한 규제 및 재정적 위험을 초래합니다. 또한, 기존 솔루션은 종종 증거가 부족할 때 답변하는 것과 답변을 거부하는 것 사이의 균형을 맞추지 못해, 안전하지 않은 환각이 발생하거나 과도한 거부 (과도한 주의) 로 이어집니다.

방법론

저자들은 Gemma 3 12B-IT 기반 모델 위에 구축된 은행용 RAG 를 최적화한 12B 파라미터 LLM 인 FinRAG-12B를 제안합니다. 이 접근법은 답변 품질, 인용 근거, 그리고 보정된 거부를 공동으로 최적화하는 통합적이고 데이터 효율적인 학습 프레임워크에 중점을 둡니다.

1. 데이터 큐레이션 파이프라인

학습 코퍼스는 **98,648 개의 샘플 (143M 토큰)**로 구성되며, 규모보다 품질을 우선시합니다. 파이프라인은 다음과 같습니다:

RAG-v1 (오픈 소스): JudgeLM 을 통해 필터링된 43,581 개의 샘플로 고품질 감독을 보장합니다.
합성 SEC QA: SEC 제출 서류 (10-K, 10-Q) 에서 생성된 16,773 개의 샘플로, 5 단계 파이프라인을 사용합니다. 여기에는 문서 분할, 4 가지 난이도 수준에서 질문 생성, 실제 사용자 쿼리 분포 (스타일, 길이, 격식) 에 맞게 재구성, 인용 스타일 출력 강제, 그리고 검색 노이즈를 시뮬레이션하기 위한 방해 구절 주입이 포함됩니다.
CommonCrawl 금융 하위 집합: 실제 사용자 쿼리 (개인 식별 정보 제외) 와 관련 구절에서 유래한 20,499 개의 샘플로, 무작위 숲 분류기를 통해 필터링하여 개인정보 보호 준수를 보장합니다.
거부 보정 데이터: 검색된 컨텍스트가 주제적으로 관련은 있지만 불충분한 17,795 개의 독점적 예제 (혼합물의 22%) 입니다. 목표 출력은 명시적인 "모릅니다"이며, 모델을 환각하지 않고 거절하도록 훈련시킵니다.

2. 학습 전략

모델은 2 단계 커리큘럼 학습 접근법을 사용합니다:

1 단계 (도메인 적응): 재현 가능한 데이터를 사용하여 근거 기반 생성 및 인용 정렬을 위한 기초 능력을 확립하기 위해, 60,354 개의 샘플 (RAG-v1 + 합성 SEC) 로 보수적인 학습률 ( $1 \times 10^{-6}$ ) 로 학습합니다.
2 단계 (작업 전문화): 더 높은 학습률 ( $5 \times 10^{-6}$ ) 로 38,294 개의 샘플 (CommonCrawl + 독점 은행) 에 대한 학습을 계속합니다. 이 단계는 실제 세계 쿼리 분포를 도입하고 거부 행동을 보정합니다.
위치 편향 완화: 모델이 컨텍스트의 시작이나 끝 부분에 불균형적으로 주의를 기울이는 경향을 상쇄하기 위해, 저자들은 이산적 우측 사다리꼴 조화 감쇠 분포의 혼합물을 사용하여 방해 구절 사이에서 관련 구절의 위치를 무작위화합니다.
거부 보정: 체계적인 스윕을 통해 답변 불가능한 예제의 22% 비율이 미지원 답변을 최소화하면서 답변 가능한 쿼리에 대한 과도한 거부를 방지하는 최적의 균형을 제공한다는 것이 결정되었습니다.

3. 모델 구성 및 서비스

파인튜닝: 모든 어텐션 및 MLP 계층에 LoRA(저랭크 적응) 를 활용합니다 ( $r=64, \alpha=256$ ).
양자화: SmoothQuant 를 사용하여 모델을 W4A16(4 비트 가중치, 16 비트 활성화) 로 양자화하여, 최소 성능 저하로 단일 GPU 배포를 가능하게 하는 24GB 에서 8.4GB 로 풋프린트를 줄입니다.

주요 기여

데이터 효율적 파이프라인: LLM-as-a-Judge 필터링, 스타일 조건부 합성 생성, 개인정보 보호 준수 실데이터 추출을 결합한 다단계 파이프라인으로, 143M 토큰만으로 고품질 근거 학습 데이터셋을 생성합니다.
보정된 거부 메커니즘: 통제된 부정 샘플링 (22% 답변 불가능 예제) 을 기반으로 한 전략으로, 환각을 크게 줄이면서도 범용 모델에서 흔히 발생하는 과도한 거부를 방지합니다.
엔드투엔드 생산 프레임워크: 데이터 큐레이션, 커리큘럼 학습, 양자화된 서비스를 아우르는 검증된 방법론으로, 40 개 이상의 금융 기관에 배포되었습니다.

결과

평가 는 독점 은행 테스트 세트 (258 개 예제) 와 공개 FinanceBench벤치마크에서 수행되었습니다.

답변 품질 및 근거: FinRAG-12B 는 JudgeLM 점수 6.21을 달성하여 GPT-4.1(5.72) 과 기본 Gemma 3 모델 (5.70) 을 능가했습니다. 또한 인용 품질을 73.1로 개선하여 (GPT-4.1 의 70.8 대비) 더 선택적이고 관련성 높은 인용 근거를 보여주었습니다.
거부 보정: 모델은 답변 불가능한 쿼리에 대해 12.0% 의 거절률을 달성했습니다. 이는 기본 모델의 안전하지 않은 4.3% 비율 (거부 부족) 과 GPT-4.1 의 20.2% 비율 (과도한 거부) 보다 상당한 개선입니다.
일반화: FinanceBench 에서 FinRAG-12B 는 97.3% 인용률과 함께 가장 높은 F1 점수 (0.284) 를 달성하여 기본 모델과 GPT-4.1 모두를 능가했습니다.
Ablation 연구: 모든 데이터 소스를 동시에 공동 학습하면 성능이 붕괴되었습니다 (JudgeLM 3.28, 46.5% 과도한 거부). 인용 관습 학습과 거부 보정 사이의 갈등을 해결하는 데 2 단계 커리큘럼이 결정적이었습니다.
지연 시간 및 비용: FinRAG-12B 는 단일 RTX 6000 Ada GPU 에 배포될 때 GPT-4.1 보다 3~5 배 빠르며(총 완료 시간 0.57 초 vs 1.83 초), 쿼리당 비용은 20~50 배 낮습니다.
생산 영향: 미국 대형 신용 조합의 라이브 배포에서 FinRAG-12B 는 쿼리 해결률을 7.1% 포인트 개선했습니다 (77.4% 에서 84.5% 로, $p < 0.001$ ). 사용자 만족도는 59.5% 에서 62.9% 로 증가했는데, 이는 주로 응답당 품질의 미미한 개선보다는 더 높은 해결률에 기인했습니다.

중요성

이 논문은 FinRAG-12B 가 규제된 분야에서 신뢰할 수 있는 LLM 을 구축하는 데 모델 규모보다 데이터 품질, 근거, 그리고 학습 방법론이 더 중요함을 보여준다고 주장합니다. 데이터 효율적 파이프라인과 보정된 거부를 통합함으로써, 이 시스템은 대규모 상용 API 의 지연 시간과 비용 부담 없이 높은 정확성과 안전성을 달성합니다. 이 연구는 생산 RAG 시스템에서 해결률 향상이 사용자 만족도의 주요 동인이며, 통합 프레임워크가 고위험 금융 환경에서 답변, 인용, 거절 사이의 균형을 성공적으로 관리할 수 있음을 강조합니다.