ORCA: Orchestrated Reasoning with Collaborative Agents for Document Visual Question Answering

이 논문은 복잡한 문서 시각적 질문 응답 (DocVQA) 과제를 해결하기 위해 논리적 단계 분해, 전문 에이전트 협업, 그리고 논쟁 기반 검증 메커니즘을 통합한 다중 에이전트 프레임워크 'ORCA'를 제안하고, 이를 통해 기존 최첨단 방법론보다 우수한 성능을 입증합니다.

핵심

ORCA: 문서 질문 답하기의 '명예로운 팀워크'

이 논문은 **"ORCA"**라는 새로운 시스템을 소개합니다. ORCA 는 복잡한 문서 (계약서, 인포그래픽, 손으로 쓴 메모가 섞인 표 등) 를 보고 질문에 답할 때, 기존 AI 가 겪는 어려움을 해결하기 위해 고안된 지능형 에이전트 팀워크 시스템입니다.

기존의 AI 는 마치 "모든 일을 혼자서 다 해내야 하는 천재 한 명"처럼 행동했습니다. 하지만 문서가 너무 복잡하면 이 한 명은 혼란에 빠지거나 실수를 하죠. ORCA 는 이 문제를 **"전문가들이 모여 팀을 이루고, 서로 토론하며 정답을 찾아내는 회의"**로 해결합니다.

이 과정을 일상적인 비유로 설명해 드리겠습니다.

---

🏢 비유: '복잡한 문서 처리를 위한 특수 부대'

상상해 보세요. 거대한 도서관에서 아주 까다로운 질문을 던졌습니다. "2023 년 3 분기 매출 중, 손으로 쓴 메모가 있는 표의 총합은 얼마인가요?"

기존 AI(단일 모델) 는 이 질문을 들으면, 혼자서 표를 읽기도 하고, 손글씨를 해독하기도 하고, 숫자를 더하기도 해야 합니다. 이 모든 걸 한 번에 하려다 보니, 손글씨를 잘못 읽거나 표의 구조를 헷갈려서 틀린 답을 내놓을 수 있습니다.

반면, ORCA는 다음과 같이 작동합니다:

1. 기획자 (Thinker Agent): "일단 계획을 세워보자"

가장 먼저 기획자가 나섭니다. 그는 질문을 듣고 "이건 표를 먼저 보고, 그다음 손글씨를 해석하고, 마지막으로 더해야 해"라고 작업 계획서를 작성합니다.

비유: 건축가가 청사진을 그리는 역할입니다.

2. 전문 팀원들 (Specialized Agents): "각자 맡은 일을 해라"

기획자의 계획서를 보고, **라우터 (Router)**가 필요한 전문가들을 소집합니다.

• 표 전문가: 숫자가 적힌 표만 보고 데이터를 뽑아옵니다.
• 손글씨 해독자: 흐릿하게 쓴 메모를 읽어서 텍스트로 바꿉니다.
• 이미지 분석가: 그림이나 차트를 해석합니다.
  이들은 각자 자신의 전문 분야만 깊이 있게 파고들기 때문에, 일반 AI 보다 훨씬 정확하게 정보를 추출합니다.

3. 토론과 검증 (Debate & Stress Testing): "정말 맞니? 다시 한번 확인하자"

여기가 ORCA 의 가장 멋진 부분입니다. 전문가들이 답을 내놓으면, 검토 위원이 나섭니다.

• 스트레스 테스트: "이 답이 정말 맞을까? 만약 틀렸다면 어떤 증거가 있을까?"라고 전문가에게 반박 질문을 던집니다.
• 정반합 토론 (Thesis-Antithesis): 만약 의견이 다르면, 찬성 측과 반대 측이 3 번의 토론을 벌입니다. "내 답이 왜 맞는지", "너의 답이 왜 틀린지" 서로의 근거를 대며 싸웁니다.
• 심판 (Judge): 이 토론을 지켜보며 가장 논리적이고 확실한 답을 선택합니다.

비유: 법정에서 검사와 변호사가 치열하게 변론하고, 판사가 최종 판결을 내리는 과정과 같습니다. 서로의 실수를 잡아내어 최종 답의 신뢰도를 높입니다.

4. 최종 점검 (Sanity Checker): "형식도 깔끔하게"

마지막으로 편집자가 나섭니다. 답의 내용은 맞는데, 문서에 쓰인 대로 띄어쓰기가 없거나 문장 부호가 틀렸다면 이를 바로잡아줍니다.

---

🌟 왜 ORCA 가 더 좋은가요?

1. 전문가들의 협업: 한 사람이 모든 걸 하는 게 아니라, 표는 표 전문가가, 손글씨는 손글씨 전문가가 처리하므로 정확도가 압도적으로 높습니다.
2. 스스로 의심하고 고침: "내가 틀렸을 수도 있다"라고 생각하며, 다른 에이전트와 토론을 통해 실수를 스스로 수정합니다. (기존 AI 는 한번 답을 내면 고치지 못합니다.)
3. 유연함: 질문이 복잡하면 토론을 더 길게 하고, 간단하면 바로 답을 줍니다. 상황에 따라 팀워크를 조절합니다.

📊 결과: 얼마나 잘 하나요?

논문의 실험 결과에 따르면, ORCA 는 기존에 가장 잘하던 AI 들보다 더 높은 점수를 받았습니다. 특히 복잡한 표나 손글씨가 섞인 문서, 인포그래픽 같은 어려운 자료에서 그 차이가 두드러졌습니다.

💡 결론

ORCA 는 **"혼자서 모든 것을 하려는 천재"에서 "각자의 재능을 발휘하며 서로를 검증하는 팀"**으로 패러다임을 바꾼 것입니다.

이 시스템은 우리가 복잡한 문서를 다룰 때, AI 가 단순히 정보를 찾아주는 것을 넘어 신뢰할 수 있는 파트너가 되어줄 수 있음을 보여줍니다. 마치 우리가 중요한 결정을 내릴 때 혼자 고민하는 대신, 신뢰할 수 있는 전문가들과 토론하며 최선의 답을 찾는 것과 같습니다.

기술 요약

1. 문제 정의 (Problem)

문서 시각적 질문 답변 (DocVQA) 은 단일 페이지 문서 이미지에서 복잡한 추론을 요구하는 과제로, 기존 비전 - 언어 모델 (VLM) 들은 다음과 같은 한계를 겪고 있습니다.

• 복잡한 추론의 부재: 다단계 워크플로우가 필요한 질문을 하위 작업으로 분해하지 못하거나, 문서 내 다양한 요소 (텍스트, 표, 차트, 손글씨 등) 간의 조율이 어렵습니다.
• 단일 모델의 한계: 대부분의 기존 접근법은 하나의 모델이 모든 문서 이해 작업을 처리하려 합니다. 이는 구조화된 데이터 추출과 OCR/HTR(손글씨 인식) 능력이 모두 필요한 경우와 같이 이질적인 정보 소스를 다룰 때 성능이 저하됩니다.
• 검증 및 신뢰성 부족: 기존 모델들은 예측 과정의 추론 단계를 공개하지 않거나, 자기 검증 (Self-verification) 메커니즘이 부족하여 복잡한 시나리오에서 신뢰할 수 없는 답변을 생성할 수 있습니다.

2. 방법론 (Methodology)

저자들은 ORCA라는 새로운 멀티 에이전트 프레임워크를 제안합니다. 이는 전략적인 에이전트 조정과 반복적 정제를 통해 문서 이해의 한계를 극복합니다. ORCA 는 총 5 단계의 파이프라인으로 구성됩니다.

단계 1: 맥락 이해 (Context Understanding)

• Thinker 에이전트: GLM-4.5V-9B 와 같은 사고 능력을 갖춘 에이전트가 질문과 문서를 분석합니다.
• 출력: 논리적 단계로 분해된 추론 경로 (Reasoning Path, R) 와 초기 답변 ($a_T$) 을 생성합니다. 이는 후속 에이전트 선택의 가이드 역할을 합니다.

단계 2: 협업 에이전트 실행 (Collaborative Agent Execution)

• 라우터 (Router): 추론 경로와 질문을 분석하여 어떤 전문 에이전트들이 필요한지 결정합니다 (9 가지 전문 에이전트 중 선택).
  • 전문 에이전트 도크: 표/리스트, 차트/도표, 손글씨 (OCR), 양식, 일반 텍스트, 이미지 등 9 가지 유형으로 세분화되어 있습니다.
• 오케스트레이터 (Orchestrator): 활성화된 에이전트들의 최적 실행 순서를 결정합니다.
• 답변 생성: 에이전트들이 순차적으로 실행되어 전문가 답변 ($a_E$) 을 생성합니다. 이때, 추론 경로 내의 답변 정보가 과도하게 노출되는 것을 방지하기 위해 답변 마스킹 (Answer Masking) 기법을 적용하여 확인 편향 (Confirmation Bias) 을 줄입니다.

단계 3: 스트레스 테스트 (Stress Testing Session)

• 초기 답변 ($a_T$) 과 전문가 답변 ($a_E$) 이 일치하지 않을 경우 활성화됩니다.
• 디베이트 에이전트: 전문가 답변의 약점을 찾기 위해 도전적인 후속 질문을 생성합니다.
• 평가 에이전트: 전문가 에이전트가 일관된 답변을 유지하는지 평가합니다. 2 회 라운드에서 통과하면 최종 답변으로 확정하고, 실패 시 다음 단계로 넘어갑니다.

단계 4: 멀티 턴 대화 (Multi-turn Conversation)

• 불확실성이 감지될 경우, 테시스 (Thesis) 에이전트 (기존 답변 옹호) 와 안티테시스 (Antithesis) 에이전트 (대안 제시 및 비판) 가 3 턴에 걸쳐 구조화된 논쟁을 벌입니다.
• 심판 (Judge) 에이전트: 논쟁을 모니터링하며, 한쪽이 설득되거나 3 턴이 종료되면 최종 판단을 내립니다. 이는 모순된 해석을 해결하고 신뢰도를 높입니다.

단계 5: 답변 정제 (Answer Refinement)

• 샌티 체커 (Sanity Checker): 최종 답변이 문서의 원본 포맷 (공백, 문장 부호 등) 과 일치하도록 미세 조정하여 형식 일관성을 보장합니다.

3. 주요 기여 (Key Contributions)

1. 적대적 검증이 포함된 멀티 에이전트 프레임워크: 명시적 추론, 전문화된 문서 이해, 그리고 논쟁 (Debate) 을 통한 검증 메커니즘을 통합하여 강력한 단일 페이지 DocVQA 를 구현했습니다.
2. 성능 향상: 기존 최첨단 (SOTA) 방법론 대비 거의 모든 표준 벤치마크에서 최상위 성능을 달성했습니다. 특히 복잡한 추론이 필요한 InfographicsVQA 에서 큰 개선을 보였습니다.
3. 성분별 분석 (Ablation Study): 추론 가이드 에이전트 선택과 멀티 턴 대화 단계가 성능 향상에 결정적인 역할을 함을 입증했습니다. 또한, 답변 마스킹이 확인 편향을 줄이는 데 효과적임을 보였습니다.

4. 실험 결과 (Results)

세 가지 주요 벤치마크 (Single-Page DocVQA, InfographicsVQA, OCRBench-v2) 에서 평가되었습니다.

• DocVQA: ORCA(Qwen3VL-8B) 는 **97.2%**의 ANLS 점수를 기록하여 기존 모델 대비 +1.1%p 향상되었습니다. 이는 저오류 영역에서 상대적 오차 감소율 28.2% 에 해당합니다.
• InfographicsVQA: 복잡한 레이아웃과 시각적 - 텍스트적 통합이 필요한 이 벤치마크에서 평균 +6.4%p의 큰 향상을 보였습니다 (88.0%).
• OCRBench-v2: 8 가지 OCR 하위 작업에서 일관된 개선을 보였으며, 특히 '이해 (Understanding)'와 '추론 (Reasoning)' 태스크에서 단일 모델 대비 약 1.7~3.6%p 향상되었습니다.
• 효율성: 77% 의 경우 Thinker 와 Expert 에이전트가 일치하여 디베이트 단계를 생략 (Early Termination) 함으로써 계산 비용을 최적화했습니다. 전체 파이프라인 실행 시에도 vLLM 가속과 조건부 실행을 통해 지연 시간을 관리했습니다.

5. 의의 및 결론 (Significance)

ORCA 는 단일 거대 모델에 의존하는 기존 패러다임을 넘어, 전문 에이전트들의 협업과 명시적 추론을 통해 문서 이해의 복잡성을 해결하는 새로운 기준을 제시합니다.

• 신뢰성: 논쟁과 검증 메커니즘을 통해 모델의 할루시네이션을 줄이고 답변의 신뢰도를 높였습니다.
• 확장성: 모듈러 아키텍처를 채택하여 개별 구성 요소 (예: 더 강력한 Thinker 모델 등) 를 독립적으로 업그레이드할 수 있어 지속적인 시스템 개선이 가능합니다.
• 미래 방향: 향후 강화 학습을 통한 라우팅 최적화, 다중 페이지 문서 이해 확장 등을 계획하고 있습니다.

결론적으로, ORCA 는 복잡한 문서 시각적 질문 답변 작업에서 투명성, 적응성, 자기 검증을 갖춘 차세대 비전 - 언어 추론 시스템의 가능성을 입증했습니다.