기술 요약: AgentFinVQA

문제 정의

규제 환경에서의 금융 차트 질의응상(QA)은 기존 솔루션들이 동시에 해결하지 못하는 세 가지 과제에 직면해 있습니다:

1. 감사 가능성(Auditability): 실무자들은 답변을 신뢰하기 위해 추론 과정에 대한 가시성을 필요로 하지만, 현재의 에이전트들은 종종 불투명한 "블랙박스"인 경우가 많습니다.
2. 데이터 레지던시(Data Residency): 많은 금융 기관은 민감한 고객 데이터를 외부 API 제공업체로 전송할 수 없으므로, 온프레미스 배포가 필수적입니다.
3. 정확도 대 투명성(Accuracy vs. Transparency): 기존 시스템은 속도가 빠른 독점 API를 사용하여 정확도를 우선시하거나(감사 추적 결여), 배포 및 감사가 어려운 로컬 미세 조정(fine-tuning) 및 세그멘테이션 모델에 의존합니다.

현재의 에이전트 프레임워크는 이미지를 조작하기 위해 로컬 컴퓨터 비전 도구에 의존하거나, 주석이 달린 데이터셋에 대한 과도한 미세 조정을 요구하는 경우가 많아 규제 산업의 진입 장벽을 만듭니다. 이에 따라 프롬프팅만으로 작동하며(로컬 세그멘테이션이나 특정 작업용 미세 조정 없이), 완전히 감사 가능하고, 상당한 정확도 손실 없이 오픈 웨이트 모델에 배포 가능한 시스템에 대한 수요가 존재합니다.

방법론: AgentFinVQA 파이프라인

저자들은 차트 QA를 순차적이고 추적 가능한 단계로 분해하는 다중 에이전트 파이프라인인 AgentFinVQA를 제안합니다. 이 시스템은 금융 차트 이미지($c$), 자연어 질문($q$), 그리고 선택적인 다지선다형 옵션($O$)을 기반으로 작동합니다.

핵심 아키텍처

파이프라인은 Plan $\rightarrow$ OCR $\rightarrow$ Ground $\rightarrow$ Colour-Area $\rightarrow$ Inspect $\rightarrow$ Verify의 정해진 순서대로 단계를 실행합니다. 각 단계는 입력, 출력 및 도구 실행 흔적(trace)을 **모델 평가 패킷(Model Evaluation and Packet, MEP)**에 기록하며, 이는 전체 감사 가능성을 가능하게 하는 휴대 가능한 JSON 형태의 아티팩트입니다.

1. Planner (플래너): 텍스트 전용 LLM이 (이미지를 보지 않고) 질문과 MCQ 옵션을 분석하여 구조화된 JSON 검사 계획을 생성합니다. 질문 유형을 분류하고, 후속 비전 에이전트에게 단일 선택형 대 다중 선택형 쿼리를 처리하는 방법을 지시합니다.
2. OCR Reader (OCR 리더): 집중된 VLM 호출을 통해 모든 가시적 텍스트(축 레이블, 틱, 범례, 주석)를 구조화된 메타데이터로 전사합니다. 이는 비전 에이전트가 나중에 텍스트를 잘못 읽는 것을 방지합니다.
3. Legend Grounder (범례 그라운더): 타겟팅된 VLM 호출을 통해 범례 항목을 시각적 속성(색상 설명, 근사 RGB, 선 스타일)에 매핑합니다. 이 맵은 명시적 증거로서 비전 프롬프트에 주입되며, 비전 에이전트가 이 레이블을 참조하도록 하는 컴플라이언스 체크를 포함합니다.
4. Colour-Area Tool (색상-영역 도구): 비교 키워드가 포함된 바/파이/도넛 차트에 활성화되는 결정론적 규칙 기반 픽셀 카운팅 단계(OpenCV 사용)입니다. 범례 맵을 기반으로 HSV 색상 마스크를 적용하여 시리즈당 픽셀을 계산하고, 비전 에이전트에 "지배적 레이블 힌트"를 제공합니다. 이 단계는 GPU나 학습된 모델을 필요로 하지 않습니다.
5. Vision Agent (비전 에이전트): 오케스트레이션된 에이전트(CrewAI 사용)가 차트 이미지, OCR 메타데이터, 범례 맵, 색상-영역 힌트를 사용하여 검사 계획을 실행합니다. 이는 초안 답변과 선택지별 신뢰도 점수를 생성합니다. "강제 선택 재시도(forced-choice retry)" 메커니즘은 MCQ의 과도한 거부를 처리합니다.
6. Verifier (검증기): 독립적인 VLM 호출이 차트 이미지를 바탕으로 초안 답변을 감사합니다. 이 단계는 CONFIRM(확인) 또는 REVISE(수정) 판결과 함께 자체 보고된 신뢰도 점수를 발행합니다. 신뢰도 게이트(임계값 0.75)는 낮은 신뢰도의 수정 사항이 고품질의 비전 출력을 덮어쓰는 것을 방지합니다.

배포 유연성

시스템은 구성 가능한 백엔드 추상화를 사용합니다. Gemini-3 Flash와 같은 독점 API와 vLLM을 통해 로컬로 서빙되는 오픈 웨이트 모델(예: Qwen3.6-27B-FP8)을 모두 지원합니다. 이를 통해 금융 기관은 전체 파이프라인을 단일 A100 GPU에서 온프레미스로 실행할 수 있어, 데이터가 인프라 외부로 유출되지 않도록 보장할 수 있습니다.

주요 기여

1. AgentFinVQA 파이프라인: 차트 QA를 전문화된 단계로 분해하고, 모든 동작을 추적 가능한 MEP에 기록하는 프롬프팅 전용 다중 에이전트 프레임워크입니다.
2. 오픈 웨이트 모델의 생존 가능성: 에이전트 기반 분해를 통한 정확도 향상이 독점 백본에서 로컬로 서빙되는 오픈 웨이트 모델로 전이된다는 경험적 증거를 제시하여, 적절한 정확도 트레이드오프와 함께 인하우스 배포를 지원함을 입증했습니다.
3. 신뢰도 기반 라우팅: 검증기의 판결은 실질적인 신뢰도 신호 역할을 합니다. "수정(Revised)"된 답변은 인간의 검토 대상으로 플래그가 지정되는 반면, "확인(Confirmed)"된 답변은 낮은 우선순위로 처리되어 인간 참여형(human-in-the-loop) 워크플로우를 최적화합니다.

결과

FinMME 벤치마크(~11,000개 샘플)에서 평가한 결과, AgentFinVQA는 모델 매칭 제로샷(zero-shot) 베이스라인 대비 유의미한 개선을 보여주었습니다:

• 독점 백본 (Gemini-3 Flash):
  • 평균 정확도: 71.24% (제로샷 63.56% 대비).
  • 개선 폭: +7.68 퍼센트 포인트(pp).
  • MCQ 정확도: +8.1 pp.
  • 통계적 유의성: McNemar $p \approx 1.1 \times 10^{-16}$.
• 오픈 웨이트 백본 (Qwen3.6-27B-FP8, 로컬):
  • 평균 정확도: 66.52% (제로샷 61.68% 대비).
  • 개선 폭: +4.84 pp.
  • MCQ 정확도: +5.3 pp.
  • 통계적 유의성: McNemar $p \approx 3.0 \times 10^{-6}$.
  • 참고: 오픈 웨이트 모델은 가장 어려운 유형의 질문(open-ended)에서는 신뢰할 만한 이득을 보이지 못했으며(-1.0 pp), 이는 온프레미스 환경에서의 완만한 정확도 비용을 시사합니다.

오류 분석 및 검증기 효용성

• 실패 모드: 실패의 약 3분의 2는 질문 오해, 범례 혼동, 그리고 추출 오류에서 기인합니다.
• 검증기 성능: 검증기는 일부 카테고리에서 오류를 효과적으로 식별하지만, 질문 오해 및 범례 혼동을 탐지하는 데에는 가장 취약합니다.
• 라우팅 신호: 검증기에 의해 "Confirmed"로 표시된 답변은 **68.2%**의 정확도를 기록한 반면, "Revised" 답변은 **55.6%**를 기록했습니다. 이는 검증기가 틀릴 가능성이 높은 약 19%의 출력물을 인간 분석가에게 성공적으로 라우팅할 수 있음을 시사하며, 나머지 약 81%는 높은 신뢰도로 신뢰할 수 있음을 의미합니다.

의의 및 주장

본 논문은 감사 가능한 온프레미스 금융 차트 QA가 실용적임을 주장합니다. 저자들은 다음을 입증했습니다:

• 에이전트 기반 분해는 로컬 컴퓨터 비전 모델이나 특정 작업용 미세 조정을 요구하지 않고도 제로샷 베이스라인보다 정확도를 유의미하게 향м 향상시킵니다.
• 이러한 이득은 독점 API에 의존하지 않습니다. 이는 로컬로 서빙되는 오픈 웨이트 모델에서도 지속되어 완전한 데이터 레지던시를 가능하게 합니다.
• 검증기 통합은 "신뢰도 기반 인간 검토 라우팅" 메커니즘을 제공하여, 규제 대상 금융 환경에 적합한 자동화와 감사 가능성 사이의 실용적인 절충안을 제시합니다.

저자들은 크로스 데이터셋 일반화 테스트 부족(FinMME만 사용), 오픈 웨이트 모델의 개방형 질문에 대한 완만한 정확도 비용, 그리고 검증기의 신뢰도가 캘리브레이션된 것이 아닌 자체 보고된 것이라는 점을 한계점으로 인정합니다. 또한, 컬러-영역 도구의 주요 가치는 집계 정확도 상승보다는 아키텍처적 측면(결정론적 그라운딩 및 감사 추적)에 있으며, 이는 데이터셋의 5%에서만 활성화된다는 점을 명시했습니다.