Retrieval-Augmented Reasoning for Chartered Accountancy

"Retrieval-Augmented Reasoning for Chartered Accountancy" 논문에 대한 상세한 기술적 요약입니다.

1. 문제 제기

이 논문은 인도 공인회계사 (CA) 의 전문 분야에서 대규모 언어 모델 (LLM) 의 한계를 다루고 있습니다. LLM 이 금융 분야에서 점차 채택되고 있지만, 규제된 분야에서는 다음과 같은 치명적인 과제에 직면해 있습니다:

• 할루시네이션 및 정확도: 일반 목적 모델 (예: GPT-4o) 은 소득세법 (Income Tax Act), ICAI 기준과 같은 복잡한 법적 규정 및 GST 계산에 필요한 다단계 추론에 어려움을 겪으며, 도메인 특화 벤치마크에서 낮은 정확도 (13~20%) 를 보입니다.
• 자원 제약: 최첨단 모델은 막대한 컴퓨팅 자원, 높은 추론 비용, 클라우드 의존성을 요구하며, 이는 개인정보 보호 우려를 야기하고 자원 제약 환경에서는 부적합하게 만듭니다.
• 문서 파싱 문제: 표준 OCR 은 다중 열 표, 수학 기호 등 세금 문서의 복잡한 레이아웃을 처리하지 못해 검색 과정에서 데이터 손실이 발생합니다.
• 근거 부재: 모델은 종종 금융 및 법적 준수를 위한 엄격한 요구사항인 원래 소스 문서를 기반으로 답변을 하지 못합니다.

2. 방법론: CA-ThinkFlow

저자들은 14B 파라미터 모델에서 작동하면서도 훨씬 더 큰 독점 모델의 성능과 맞먹는 파라미터 효율적인 검색 증강 생성 (RAG) 프레임워크인 CA-ThinkFlow를 제안합니다.

A. 핵심 아키텍처

• 베이스 모델: 내장된 체인 오브 씽킹 (CoT) 추론 능력을 갖춘 14B-DeepSeek-R1(특히 DeepSeek-R1-Distill-Qwen-14B) 을 4 비트 양자화 (Q4_K_M) 형식으로 활용합니다. 이 모델은 자연스러운 인지적 사고를 모방하고 다단계 문제를 처리할 수 있도록 선택되었습니다.
• 검색 시스템:
  • 문서 추출: 표준 OCR 의 한계를 극복하고 금융 텍스트의 문서 구조, 표, 수학 기호를 보존하기 위해 TableFormer 와 DocLayNet 을 활용한 레이아웃 인식 추출기인 Docling을 사용합니다.
  • 데이터 소스: ICAI 오픈 소스 자료, 세금 규정, 교과서를 포함한 인도 금융 지식의 큐레이션 데이터베이스입니다.
  • 청킹: 임베딩 연속성과 검색 정밀도를 최적화하기 위해 텍스트를 200 자 오버랩을 가진 1000 자 청크로 분할합니다.
  • 임베딩: 다국어 지원과 효율성을 위해 텍스트 청크를 Qwen-Embedding-0.6B모델로 인코딩합니다.
  • 색인: 임베딩은 L2 기반 유사도 검색을 위해 FAISS 색인에 저장됩니다.
• 추론 워크플로우:
  1. 시스템이 사용자 쿼리를 수신합니다.
  2. 벡터 저장소에서 상위 k 개의 관련 컨텍스트를 검색합니다.
  3. 검색된 컨텍스트를 CA-Ben 벤치마크 기반의 표준화된 프롬프트 템플릿에 직접 주입합니다.
  4. 14B-DeepSeek-R1 모델이 내부 CoT 추론을 활용하여 쿼리와 컨텍스트를 처리하고 최종 답변을 종합합니다.

B. 평가 설정

• 벤치마크: CA-Ben 2벤치마크에서 제로샷(테스트 데이터에 대한 미세 조정 없음) 설정으로 평가하여 콜드 스타트 시나리오를 시뮬레이션했습니다.
• 지표: 14 개 과목 (Foundation, Intermediate, Final 레벨) 의 F1 점수와 **학문적 신뢰도 계수 (Scholastic Reliability Coefficient, SRC)**를 통해 성능을 측정했습니다.
• 하드웨어: 2 개의 Intel Xeon CPU, 65GB RAM, 2 개의 NVIDIA GTX 1080 Ti GPU 가 탑재된 워크스테이션에서 테스트되었습니다.

3. 주요 기여

1. 파라미터 효율적 고성능: 강력한 RAG 파이프라인과 결합된 양자화된 14B 모델이 특정 도메인에서 GPT-4o, Claude 3.5 Sonnet, LLaMA-3.1-405B 와 같은 거대 독점 모델과 비교 가능한 성능 수준을 달성할 수 있음을 입증했습니다.
2. 레이아웃 인식 문서 처리: 복잡한 금융 문서 파싱의 특정 과제를 해결하기 위해 Docling 을 통합하여 검색 과정에서 표 데이터와 수학 기호가 유지되도록 보장했습니다.
3. RAG 와 CoT 의 시너지: 컨텍스트를 검색하여 프롬프트에 주입하는 '기본' RAG 접근 방식이 강력한 내부 체인 오브 씽킹 추론을 가진 모델과 결합될 때 복잡한 미세 조정이나 외부 추론 엔진 없이도 충분함을 보여주었습니다.
4. 도메인 특화 벤치마킹: 14 개 별도의 CA 과목에 대한 모델 성능의 세분화된 분석을 제공하여, 세금과 비즈니스 수학 등 특정 영역의 강점과 약점을 강조했습니다.

4. 결과

• 전체 정확도: CA-ThinkFlow 는 **학문적 신뢰도 계수 (SRC) 68.75%**를 달성하여 GPT-4o 와 Claude 3.5 Sonnet 의 성능과 일치했으며, 베이스 14B-DeepSeek-R1 모델 (46.87%) 과 LLaMA-3.3-70B 와 같은 다른 오픈 소스 모델 (59.38%) 보다 훨씬 우수한 성과를 보였습니다.
• 레벨별 성능:
  • Foundation 레벨: **80.39%**의 정확도를 달성하여 다른 모든 모델을 능가했습니다.
  • Final 레벨: **48.63%**의 정확도를 달성하여 GPT-4o 와 Claude 3.5 Sonnet 을 제외하고 대부분의 모델을 능가했습니다.
• 과목별 통찰:
  • 강점: 모델은 비즈니스 수학, 비즈니스 경제학, 고급 재무 관리에서 탁월한 성과를 보였습니다.
  • 약점 (시스템적 병목): 시스템은 **세금 (I3)**과 **간접세법 (FN5)**에서 어려움을 겪었으며, "시스템적 병목"(어떤 모델도 40% 이상의 정확도를 달성하지 못하는 과목으로 정의됨) 을 극복하지 못했습니다. 이는 추가 미세 조정 없이 복잡한 세금 논리에 필요한 심층 규제 지식을 베이스 모델이 RAG 만으로는 부족함을 나타냅니다.
• 효율성: 이 프레임워크는 GTX 1080 Ti 와 같은 소비자 등급 하드웨어에서 효과적으로 작동하여, 고정확도 금융 AI 가 반드시 대규모 GPU 클러스터를 필요로 하지 않음을 입증했습니다.

5. 의의 및 향후 작업

• 의의: 이 논문은 파라미터 효율성과 검색 증강이 고위험 금융 분야에서 작고 사적이며 비용 효율적인 모델과 거대 독점 LLM 간의 격차를 해소할 수 있음을 검증합니다. 이는 클라우드 기반의 비싼 API 에 의존하지 않고 인도 CA 분야에서 규정 준수 및 사설 AI 를 배포할 수 있는 실현 가능한 경로를 제공합니다.
• 한계: 현재 시스템은 세금 분야의 복잡한 규제 추론을 완전히 해결하지 못하며, 이는 고도로 미묘한 법적 논리에 대해서는 검색만으로는 부족함을 시사합니다.
• 향후 방향:
  • 다중 청크 종합 및 동적 컨텍스트 확장을 위한 고급 검색 파이프라인 개발.
  • 검색 전에 모델의 규제 지식을 심화하기 위해 인도 금융 법령에 대한 도메인 특화 감독 미세 조정 (SFT) 구현.
  • 실시간 세금 규정 업데이트 및 다국어 지원을 통합하여 배포 가능한 전문가 수준의 금융 AI 시스템 구축.