SAFE-Cascade: Cost-Adaptive Vision-Language Routing for Chart Question Answering

기술 요약: SAFE-Cascade

문제 정의
시각-언어 모델(VLM)은 차트 질의응답(ChartQA)에서 강력한 능력을 입증했으나, 모든 쿼리에 대해 전체 VLM을 호출하는 것은 종종 계산 비용이 많이 들고 불필요합니다. 많은 차트 질문은 심층적인 시각적 근거(visual grounding)를 필요로 하지 않고, OCR(광학 문자 인식) 텍스트 추출과 경량화된 언어 추론을 결합하여 해결될 수 있습니다. 본 연구가 다루는 핵심 문제는 추론 비용을 최적화하면서 답변 정확도를 유지하기 위해, 저비용 텍스트 전용 경로와 고비용 VLM 경로 사이에서 쿼리를 동적으로 라우팅하는 방법입니다.

방법론
SAFE-Cascade는 시각적 추론의 필요성을 추정하여 차트 QA 쿼리를 라우팅하도록 설계된 대화형, 비용 적응형 시스템입니다. 이 시스템은 4단계 파이프라인을 통해 작동합니다:

1. OCR 추출: 차트 이미지와 자연어 질문을 받으면, 시스템은 먼저 Azure Document Intelligence를 사용하여 텍스트, 레이아웃 스니펫 및 토큰을 추출합니다.
2. 텍스트 전용 답변: 텍스트 전용 대규모 언어 모델(구체적으로 gpt-5-mini)이 질문과 추출된 OCR 텍스트를 처리하여 잠정적인 답변을 생성합니다.
3. 학습된 라우팅: 랜덤 포레스트(Random Forest) 분류기가 라우터 역할을 합니다. 이 라우터는 OCR 길이/밀도, 질문 길이, 숫자/비교 플래그, 질문-OCR 중첩도, 텍스트-답변 길이, 그리고 알 수 없음 또는 빈 답변 지표를 포함한 추론 시점의 특징들을 분석하여 에스컬레이션 확률($p_{esc}$)을 추정합니다.
4. 조건부 에스컬레이션: 만약 $p_{esc}$가 설정 가능한 임계값($\theta$)을 초과하면, 시스템은 원래 이미지와 질문을 처리하는 VLM(구체적으로 gemini-2.5-flash-image)으로 쿼리를 에스컬레이션합니다. 그렇지 않으면 텍스트 전용 답변을 최종 답변으로 수용합니다.

본 시스템은 투명한 Streamlit 인터페이스를 갖춘 모듈형 서비스로 구현되었습니다. 시스템은 OCR 증거, 잠정적 텍스트 답변, 라우팅 확률, 최종 결정, 그리고 예상 비용/지연 시간을 표시함으로써 결정 과정 전체를 사용자에게 공개합니다.

주요 기여
본 논문은 네 가지 주요 기여를 설명합니다:

• 비용 적응형 차트 QA 시스템: 기본적으로 VLM을 사용하는 대신, OCR 및 텍스트 추론과 전체 VLM 추론 사이를 선택적으로 라우팅하는 새로운 아키텍처를 제안합니다.
• 투명한 라우팅 인터페이스: "블랙박스" 방식의 라우팅과 달리, SAFE-Cascade는 증거(OCR 스니펫), 잠정적 답변, 라우터의 신뢰도, 그리고 최종 결과를 시각화하여 사용자가 왜 시각적 경로가 호출되었는지 혹은 호출되지 않았는지 검사할 수 있게 합니다.
• 대화형 운영 프런티어: 시스템에는 사용자가 정확도와 비용(VLM 호출율) 사이의 트레이드오프를 실시간으로 탐색할 수 있도록 하는 임계값 슬라이더가 포함되어 있습니다.
• 홀드아웃 검증: 시스템은 ChartQA 벤치마크의 홀드아웃 분할 데이터셋을 통해 검증되었으며, 학습된 라우팅이 전체-VLM 성능과 대등한 성능을 보이면서도 VLM 호출을 크게 줄일 수 있음을 입증했습니다.

결과
ChartQA-2500 데이터셋의 375개 예시로 구성된 홀드아웃 테스트 분할 데이터에 대해 평가한 결과는 다음과 같습니다:

• 정확도: SAFE-Cascade(임계값 $\theta=0.3$ 기준)는 **69.1%**의 통합 정확도를 달성했습니다. 이는 **67.7%**의 정확도를 기록한 전체-VLM 베이스라인과 통계적으로 유사합니다(신뢰 구간 중첩).
• 효율성: 시스템은 전체-VLM 베이스라인과 비교하여 VLM 호출을 26.9%(100%에서 73.1%로) 줄였으며, 예상 추론 비용을 9.3% 절감했습니다.
• 라우팅 성능: 라우터는 84.2%의 에스컬레이션 F1 점수를 기록했으며, 재현율(recall)은 87.4%, 정밀도(precision)는 81.3%였습니다. 주요 실패 모드는 "에스컬레이션 누락"(5.9%)으로, VLM이 수정했을 텍스트 답변을 시스템이 잘못된 것으로 판단하여 그대로 수용한 경우입니다.
• 임계값 민감도: 임계값 스윕(sweep) 결과, 임계값을 낮추면 VLM 사용량이 증가하고 정확도가 보존되는 반면, 임계값을 높이면 비용은 줄어들지만 에스컬레이션 누락률이 크게 증가함을 확인했습니다(예: $\theta=0.7$에서 에스컬레이션 누락은 27.2%로 상승).

의의 및 주장
저자들은 SAFE-Cascade를 단순히 기존 모델보다 성능이 향상된 모델이 아니라, 멀티모달 추론을 위한 투명하고 조절 가능한 프레임워크로 정의합니다. 본 논문은 시스템이 어떻게 선택적 모달리티 라우팅을 통해 지식 시스템을 더욱 **비용 효율적(cost-aware)**이고 **해석 가능(interpretable)**하게 만들 수 있는지를 성공적으로 보여준다고 주장합니다.

저자들은 결과를 겸손하게 제시합니다. 즉, 전체-VLM 베이스라인보다 통계적으로 유의미한 정확도 향상을 주장하는 것이 아닙니다. 대신, 시스템이 전체-VLM의 성능을 유지하면서도 상당한 비용 절감을 달성한다는 점을 강조합니다. 의의는 사용자가 "비용-정확도 프런티어"를 노출하여 특정 예산이나 지연 시간 제약 조건에 따라 시스템의 동작을 조정할 수 있게 한다는 점에 있습니다. 본 연구는 주요 이점이 단순히 OCR을 추가하거나 휴리스틱 규칙을 사용하는 것이 아니라, 언제 텍스트 경로가 불충분한지를 학습하는 데서 온다는 점을 강조합니다.

한계점
본 논문은 몇 가지 한계를 인정합니다: 검증이 현재 ChartQA 데이터셋에 국한되어 있으며, 지연 시간 값은 실제 운영 환경의 측정치가 아닌 추정치입니다. 또한 라우터가 (텍스트 이후의) 순차적 방식이지 예측적(speculative) 방식이 아니며, 비용 추정치는 실제 청구 금액이 아닌 설정된 가격을 기반으로 합니다. 향후 연구 과제로 교차 도메인 검증(예: DocVQA)과 사전 라우팅 또는 병렬 실행 전략 탐색을 제안합니다.