Strategic Navigation or Stochastic Search? How Agents and Humans Reason Over Document Collections

이 논문은 MADQA 벤치마크와 새로운 평가 프로토콜을 통해 멀티모달 에이전트가 인간과 유사한 정확도를 달성하더라도 전략적 추론보다는 무작위 검색에 의존하며 효율성 측면에서 한계를 보임을 규명합니다.

핵심

📄 "문서 탐정"의 실력 테스트: 인간 vs AI, 누가 더 똑똑할까?

이 논문은 **"복잡한 문서 뭉치를 보고 질문에 답하는 AI 에이전트"**가 정말로 똑똑하게 생각할 수 있는지, 아니면 그냥 무작위로 문서를 뒤적이며 운을 시험하는지 (도박처럼) 를 검증한 연구입니다.

저희는 이 논문을 **"문서 탐정 학교의 졸업 시험"**에 비유해서 설명해 드리겠습니다.

---

1. 시험의 등장: 'MADQA'라는 새로운 시험지

기존의 AI 시험들은 대부분 "한 장의 문서만 보여주고" 혹은 "웹사이트 글만 읽게" 하는 수준이었습니다. 하지만 현실 세계의 업무는 훨씬 복잡합니다.

• 상황: 800 개의 서로 다른 PDF 문서 (재무제표, 법률 문서, 메뉴판, 보고서 등) 가 쌓여 있고, 그중에서 "2014 년부터 2019 년까지 미네소타주의 허가 초과 수익이 얼마였나요?"라고 묻는 질문이 있습니다.
• 문제: 이 답은 한 문서에 없습니다. 2014~2018 년 보고서와 2019 년 보고서를 각각 찾아서 숫자를 더해야 합니다. 게다가 표 (Table) 나 도표 (Chart) 를 읽어야 하고, 손으로 쓴 글씨도 해석해야 합니다.

이런 현실적인 난관을 위해 연구팀은 MADQA라는 새로운 시험지를 만들었습니다. 이 시험지는 전혀 새로운 문서로만 구성되었고, 사람이 직접 문제를 내고 정답을 확인했습니다.

2. 핵심 질문: "전략적 사고" vs "무작위 도박"

연구팀은 AI 가 이 시험을 풀 때 두 가지 방식을 취하는지 궁금해했습니다.

• 전략적 사고 (Strategic Navigation): "아, 이 질문은 A 문서의 3 페이지와 B 문서의 5 페이지를 비교해야겠구나. 먼저 A 를 찾고, 그다음 B 를 찾아서 비교하자." (똑똑한 탐정)
• 무작위 검색 (Stochastic Search): "일단 A 문서 100 페이지를 다 뒤져보자. 안 되면 B 문서 100 페이지도 뒤져보자. 운이 좋으면 답이 나올 거야." (무작위로 문서를 뒤지는 사람)

3. 실험 결과: AI 는 "힘으로 밀어붙이는" 경향이 있습니다

결과적으로 AI 는 놀라운 성적을 냈지만, 인간과는 완전히 다른 방식으로 문제를 풀었습니다.

• 정답률은 비슷하지만, 과정은 다름: 최고의 AI 모델은 인간과 비슷한 정답률 (약 82%) 을 냈습니다. 하지만 어떤 문제를 맞췄는지가 달랐습니다. 인간이 틀린 문제를 AI 가 맞히고, AI 가 틀린 문제를 인간이 맞히는 경우가 많았습니다.
• 힘의 과시 (Brute-force): AI 는 전략적으로 문서를 찾지 못하면, 계속 문서를 뒤적이며 시간을 낭비했습니다. 마치 "답이 없으면 책장을 계속 넘기다 보면 결국 답이 나올 거야"라고 생각하며 무작위로 검색하는 것과 비슷합니다.
• 인간의 강점: 인간은 처음 검색을 할 때 훨씬 정확하게 답을 찾았습니다. 하지만 AI 는 처음에 실패하면 계속 시도하다가 결국 정답에 도달하는 경우가 많았습니다. 다만, 그 과정에서 **엄청난 비용 (시간과 돈)**이 들었습니다.

4. 재미있는 발견: "검색"이 문제, "이해"가 아니다

가장 큰 병목 현상은 AI 가 문서를 이해하지 못해서가 아니라, 어디에 답이 있는지 찾지 못해서 발생했습니다.

• 검색 실패: AI 가 답이 있는 문서를 아예 찾지 못하거나, wrong page(틀린 페이지) 를 찾는 경우가 많았습니다.
• 이해 실패: 문서를 찾았지만, 표를 잘못 읽거나 손글씨를 오해하는 경우도 있었습니다.

5. 결론: AI 는 아직 "효율적인 탐정"이 아닙니다

이 연구는 다음과 같은 교훈을 줍니다.

1. AI 는 "무작위 검색"에 의존합니다: AI 는 복잡한 문제를 풀 때, 논리적인 계획보다는 계속 시도해 보는 (시행착오) 방식으로 답을 찾습니다.
2. 비용이 너무 비쌉니다: 인간은 10 분 안에 해결할 문제를 AI 는 100 번의 검색을 시도하며 해결합니다. 이는 기업에서 쓸 때 돈과 시간이 너무 많이 든다는 뜻입니다.
3. 인간과 AI 는 서로 보완적입니다: 인간은 AI 가 놓치는 것을 찾고, AI 는 인간이 놓치는 것을 찾아줍니다. 두 명이 합작하면 더 높은 점수를 받을 수 있습니다.

🌟 한 줄 요약

"AI 는 문서 더미 속에서 답을 찾는 데는 능숙해졌지만, 여전히 '전략'보다는 '힘으로 밀어붙이는' 방식을 쓰고 있어 효율성이 떨어집니다. 진정한 '문서 탐정'이 되려면 더 똑똑하게 계획해야 합니다."

이 연구는 앞으로 AI 가 단순히 "문서를 뒤지는 것"을 넘어, 인간처럼 효율적으로 계획을 세우고 문서를 탐색하는 능력을 기르는 방향으로 발전해야 함을 보여줍니다.

기술 요약

논문 요약: 전략적 탐색인가 확률적 검색인가? 에이전트와 인간의 문서 컬렉션 추론 비교 (Strategic Navigation or Stochastic Search? How Agents and Humans Reason Over Document Collections)

이 논문은 멀티모달 에이전트 (Multimodal Agents) 가 복잡한 문서 작업 흐름을 자동화할 수 있는지에 대한 근본적인 질문, 즉 에이전트가 진정한 **전략적 추론 (Strategic Reasoning)**을 수행하는지, 아니면 단순히 **확률적 시행착오 (Stochastic Trial-and-Error)**를 반복하는지 규명하기 위해 고안되었습니다. 이를 위해 저자들은 **MADQA (Multimodal Agentic Document QA)**라는 새로운 벤치마크를 소개하고, 이를 통해 에이전트의 행동을 평가하는 새로운 프로토콜을 제시합니다.

---

1. 문제 정의 (Problem)

현재의 문서 기반 QA 벤치마크들은 다음과 같은 한계를 가지고 있습니다:

• 형식 (Format): 대부분의 벤치마크가 HTML 이나 일반 텍스트에 의존하여, 실제 비즈니스 환경에서 필수적인 시각적 이해 (레이아웃, 표, 차트 등) 를 무시합니다.
• 범위 (Scope): 특정 도메인 (예: 금융) 에 국한되거나, 단일 단계 검색만 평가하여 반복적인 계획 및 정제 과정을 테스트하지 못합니다.
• 데이터 무결성 (Data Integrity): 많은 벤치마크가 LLM 이 생성한 질문을 사용하거나 기존 데이터셋을 재활용하여 데이터 오염 (Contamination) 과 편향을 초래합니다.

따라서, 복잡한 PDF 컬렉션에서 다단계 추론과 시각적 이해가 필요한 순수 인간 작성 질문을 기반으로 한 새로운 벤치마크가 필요했습니다.

2. 방법론 (Methodology)

2.1. MADQA 벤치마크 구축

• 데이터셋: 800 개의 이질적인 PDF 문서 (총 18,619 페이지, 12.2M 토큰) 와 이에 기반한 2,250 개의 인간 작성 질문으로 구성되었습니다.
• 도메인: 금융, 법률, 정부, HR, 기술 등 13 개의 상위 도메인과 63 개의 세부 카테고리를 아우릅니다.
• 질문 특성:
  • Closed-World: 외부 지식 없이 제공된 문서만으로 답변해야 합니다.
  • Multi-Hop: 약 17.3% 의 질문이 교차 페이지 (X-Page) 또는 교차 문서 (X-Doc) 추론을 요구합니다.
  • Visual Necessity: 58% 의 질문이 표, 양식, 시각적 아티팩트 (체크박스, 차트 등) 이해를 필요로 합니다.
• 검증 (Construct Validity): 질문이 단순 키워드 매칭 (Ctrl+F) 으로 해결될 수 없음을 확인하기 위해 n-gram 분석을 수행했으며, 모델의 사전 지식 (기억) 에 의한 추측 가능성을 정량화하여 데이터의 순수성을 확보했습니다.

2.2. 평가 프로토콜 (Evaluation Protocol)

단순한 정확도 (Accuracy) 외에 에이전트의 효율성을 평가하기 위해 새로운 지표를 도입했습니다:

• 정확도 (Accuracy): LLM 기반 저자 (Judge) 를 사용하여 의미적 정확도를 평가합니다.
• 근거 기반성 (Grounding): Page F1 및 Doc F1 지표를 사용하여 답변이 올바른 문서와 페이지에서 추출되었는지 평가합니다.
• 효율성 및 보정 (Efficiency & Calibration): Kuiper 통계량을 도입하여 '노력 (검색 단계 수)'과 '정확도' 간의 관계를 분석합니다. 에이전트가 불필요한 검색을 반복하거나 (낮은 효율), 적절한 시점에 검색을 중단하는지 (잘 보정된 행동) 를 측정합니다.

2.3. 인간 vs 에이전트 비교

• 인간 평가자도 동일한 BM25 검색 도구를 사용하여 작업하도록 하여, 모델과 인간의 검색 전략 및 효율성을 직접 비교했습니다.
• 또한, 'Oracle Retriever' (정답 페이지를 미리 알려주는 조건) 를 통해 검색 능력과 추론 능력을 분리하여 평가했습니다.

3. 주요 기여 (Key Contributions)

1. 태스크 공식화: 6 가지 핵심 속성 (추출형, 멀티홉, 폐쇄적 세계, 근거 기반, 에이전트적, 시각적) 을 가진 '에이전트 문서 컬렉션 VQA'를 공식 정의했습니다.
2. 검증된 벤치마크: 2,250 개의 인간 작성 질문과 800 개의 최신 PDF 로 구성된 MADQA 를 공개했습니다.
3. 새로운 평가 지표: 정확도뿐만 아니라 '노력 - 정확도 트레이드오프'를 측정하는 Kuiper 통계량을 포함한 평가 프로토콜을 제시했습니다.
4. 인간 - 에이전트 비교 연구: 해당 분야에서 최초로 인간과 에이전트의 행동 패턴을 정량적으로 비교했습니다.

4. 주요 결과 (Results)

4.1. 에이전트 성능 vs 인간 성능

• 정확도: 최상위 모델 (Gemini 3 Pro BM25 Agent) 은 약 82.2% 의 정확도를 달성하여 인간 평가자 (82.2%) 와 유사한 수준을 보였습니다.
• 성능 격차 (Oracle Gap): 그러나 'Oracle Retriever' 조건 (정답 문서 제공) 에서 인간은 99.4% 의 정확도를 보인 반면, 모델은 80% 대에 머물렀습니다. 이는 검색 (Retrieval) 능력의 한계가 여전히 주요 병목 현상임을 의미합니다.
• 다른 문제 해결: 인간과 모델이 같은 정확도를 달성했더라도, 그들이 성공한 질문의 종류는 크게 달랐습니다 (Cohen's κ = 0.24). 인간은 복잡한 추출에서 실수하고, 모델은 검색 실패에서 주로 실패했습니다.

4.2. 전략적 탐색 vs 확률적 검색

• Cold Start 문제: 인간은 첫 번째 검색 쿼리에서 약 50% 의 정확도를 보였으나, 최상위 모델 (Gemini 3 Pro) 은 12% 에 불과했습니다. 모델은 초기 실패 후 고비용의 '강제적 복구 (Brute-force recovery)'를 통해 점진적으로 정확도를 높였습니다.
• 비효율적인 검색: 모델들은 종종 비생산적인 루프에 갇히거나, 불필요한 검색 단계를 반복하며 계산 비용을 낭비했습니다. Kuiper 통계량에서 인간 (14.6) 은 모든 에이전트 시스템 (22.9 ~ 73.2) 보다 훨씬 낮은 (더 잘 보정된) 값을 보였습니다.
• 검색 재형성 (Query Reformulation): 성공적인 에이전트는 실패 시 단순히 문장을 바꾸는 것이 아니라, 의미적으로 완전히 다른 쿼리를 생성했습니다 (높은 Cosine Drift).

4.3. 아키텍처 비교

• 제약된 에이전트 (Constrained Agents): BM25 기반 검색 도구를 사용하는 에이전트들이 가장 효율적이었습니다.
• 재귀적 언어 모델 (RLMs): RLM 은 유연하지만, 제약이 없어 과도한 토큰 소비 ($850 이상) 와 계산 비용 증가를 초래하면서도 정확도 향상은 미미했습니다.
• 검색의 중요성: 최상위 모델들의 오류 분석 결과, '이해 (Comprehension)' 오류보다 '검색 (Retrieval)' 실패가 더 큰 비중을 차지했습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 연구는 현재 최첨단 멀티모달 에이전트가 복잡한 문서 작업을 처리할 때, 진정한 전략적 계획 능력보다는 막대한 계산 자원을 투입한 '확률적 검색 (Brute-force Search)'에 의존하고 있음을 밝혀냈습니다.

• 핵심 통찰: 모델들은 인간과 유사한 최종 정확도를 달성할 수 있지만, 그 과정은 인간과 근본적으로 다릅니다. 인간은 효율적으로 전략을 수정하는 반면, 모델은 비효율적인 탐색을 반복합니다.
• 미래 방향:
  1. 에피소드 메모리 (Episodic Memory): 에이전트가 문서 컬렉션의 용어와 구조를 학습하여 불필요한 탐색을 줄일 수 있도록 해야 합니다.
  2. 강화 학습 (Reinforcement Learning): 검색 도구 피드백을 통해 탐색 정책을 개선하여 효율성을 높여야 합니다.
  3. 보정된 추론: 무작위적인 시도가 아닌, 계산 비용을 고려한 '보정된 (Calibrated)' 추론으로의 전환이 필요합니다.

MADQA 는 이러한 전환을 지원하기 위해 오픈소스 데이터셋과 평가 도구를 공개하여, 향후 에이전트 시스템이 단순한 검색을 넘어 효율적이고 신뢰할 수 있는 추론 능력을 갖추도록 돕는 기준이 될 것입니다.