1. 문제 제기 (Problem Statement)

대형 언어 모델 (LLM) 이 정보의 원천으로 널리 사용되고 있지만, 그 신뢰성은 웹 검색 능력, 관련 증거 선정, 그리고 완전한 답변 생성에 달려 있습니다. 최근 웹 탐색 및 에이전트 도구 사용을 평가하는 벤치마크들이 등장했으나, 다음과 같은 주요 한계가 존재합니다.

• 영어 중심 편향: 대부분의 평가가 영어 환경에 국한되어 있습니다.
• 포르투갈어 부재: 2 억 5 천만 명 이상의 모국어 화자를 가진 포르투갈어는 웹 검색 및 증거 기반 답변 능력을 평가하는 벤치마크가 매우 부족합니다.
• 복잡한 질의 처리 부족: 기존 벤치마크는 단순한 정보 검색에 치중하거나, 다중 엔티티 (multi-entity) 를 포함한 구조화된 정보 수집 및 통합 능력을 정밀하게 측정하지 못합니다.

2. 방법론 (Methodology)

2.1 MARCA 벤치마크 구축

• 데이터 구성: 9 개의 도메인에 걸쳐 52 개의 수동 작성된 다중 엔티티 질문으로 구성됩니다.
• 이중 언어 지원: 영어 (EN) 와 포르투갈어 (PT) 병렬 버전으로 제공되어, 언어 변경에 따른 성능 저하를 직접적으로 분석할 수 있습니다.
• 체크리스트 기반 평가 (Checklist-based Rubrics): 각 질문에는 수동으로 작성된 체크리스트가 동반됩니다. 이는 답변의 정확성 (Correctness) 과 완결성 (Completeness) 을 세밀하게 측정하기 위해 설계되었습니다.
  • 예시: "제 82 회 골든 글로브상 영화 부문 수상자 목록을 작성하라"는 질문에 대해, 각 영화와 수상자를 매칭하는 14 개의 체크리스트 항목을 생성합니다.
  • 동적 체크리스트: 일부 질문은 평가 시점에 웹에서 실시간으로 정보를 수집하여 체크리스트 기준을 동적으로 업데이트합니다 (예: 특정 저자의 Google Scholar 인용 수).

2.2 평가 프레임워크

모델의 상호작용 설계를 비교하기 위해 두 가지 프레임워크를 도입했습니다.

1. Basic Framework (기본 프레임워크): 단일 모델이 web_search 와 web_scrape 도구를 직접 사용하여 모든 정보를 수집하고 통합합니다. (최대 40 회 도구 호출)
2. Orchestrator Framework (오케스트레이터 프레임워크): 상위 모델 (오케스트레이터) 이 복잡한 질문을 하위 질문으로 분해하고, 이를 하위 에이전트 (Subagents) 에게 위임합니다. 하위 에이전트는 웹 상호작용을 수행하고, 오케스트레이터는 그 결과를 종합하여 최종 답변을 생성합니다.

2.3 평가 프로토콜

• 확률성 고려: 각 질문을 3 번 실행하여 모델의 변동성 (stochasticity) 을 반영합니다.
• 점수 산정: GPT-4.11 을 판정자 (Judge) 로 사용하여 생성된 답변과 체크리스트를 비교합니다. 각 항목의 충족 여부를 이진 (Satisfied/Not Satisfied) 으로 판정하여 체크리스트 정확도 (Checklist Accuracy) 를 계산합니다.
• 불확실성 정량화: 실행 평균 (Run-level average) 과 표준 편차를 사용하여 결과의 신뢰 구간을 보고합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 이중 언어 벤치마크: 웹 검색 및 증거 기반 답변을 평가하는 52 개의 수동 작성 질문과 9 개 도메인을 아우르는 영어/포르투갈어 병렬 데이터셋을 공개했습니다.
2. 체크리스트 기반 평가 체계: 다중 엔티티 질문에 대한 정밀한 정확도 및 완결성 측정을 가능하게 하는 수동 작성 평가 기준 (Rubrics) 을 제안했습니다.
3. 프레임워크 비교 연구: 단일 모델의 직접 도구 사용 (Basic) 과 작업 분해를 통한 위임 (Orchestrator) 방식의 성능 차이를 체계적으로 분석했습니다.

4. 실험 결과 (Results)

14 개의 모델을 평가한 주요 결과는 다음과 같습니다.

• 성능 편차: 모델 간 성능 차이가 매우 큽니다. 최상위 모델 (Gemini-3-pro, GPT-5.2 등) 은 약 0.90 의 체크리스트 커버리지를 달성하는 반면, 하위 모델은 0.26 수준에 그칩니다.
• 오케스트레이션의 효과:
  • 대부분의 모델에서 Orchestrator 프레임워크가 Basic 프레임워크보다 높은 정확도를 보였습니다.
  • 특히 다중 엔티티 정보를 한 번에 처리하는 데 어려움을 겪는 모델 (예: Sabia-4, GPT-4.1-mini) 에서 성능 향상 폭이 컸습니다.
  • 다만, 이미 복잡한 질의를 잘 처리하는 강력한 모델 (예: GPT-4.1) 에서는 분해 오버헤드로 인해 성능이 비슷하거나 약간 떨어지기도 했습니다.
• 언어 간 전이 (Language Transfer):
  • 영어와 포르투갈어 간의 성능 차이는 모델마다 상이했습니다.
  • 일부 모델 (GPT-4.1 등) 은 포르투갈어에서 오히려 더 좋은 성능을 보였으나, 다른 모델 (Qwen-3-235B, Gemini-2.5-Pro 등) 은 포르투갈어 환경에서 5% 이상 성능이 저하되었습니다.
  • 이는 단순히 언어 이해도를 넘어, 비영어권 웹 페이지 해석, 효과적인 쿼리 작성, 그리고 특정 언어권 콘텐츠 (예: 브라질 정부 직함) 에 대한 증거 수집 능력의 차이 때문임을 시사합니다.
• 비용 - 성능 트레이드오프: 높은 정확도는 일반적으로 높은 추론 비용 (토큰 사용량) 을 수반하지만, 모델별로 '비용 대비 정확도' 비율이 크게 달라 사용자의 요구와 예산에 맞는 모델 선택이 가능합니다.

5. 의의 및 결론 (Significance)

• 다국어 웹 검색 평가의 표준 제시: 기존 영어 중심의 평가를 넘어, 포르투갈어를 포함한 다국어 환경에서 LLM 의 웹 검색 및 정보 통합 능력을 평가할 수 있는 첫 번째 체계적인 벤치마크를 제시했습니다.
• 에이전트 설계에 대한 통찰: 복잡한 다중 엔티티 질의 처리에는 작업 분해 (Task Decomposition) 와 에이전트 위임이 효과적임을 입증하여, 에이전트 시스템 설계에 중요한 가이드라인을 제공합니다.
• 실제 배포 환경의 중요성 강조: 번역만으로는 다국어 시스템의 성능을 보장할 수 없으며, 해당 언어권의 웹 생태계 (검색 동향, 콘텐츠 가용성) 에 대한 이해가 필수적임을 강조합니다.

이 논문은 MARCA 를 통해 LLM 이 실제 웹 환경에서 얼마나 신뢰할 수 있는 정보를 수집하고 종합할 수 있는지에 대한 정밀한 진단을 가능하게 하며, 향후 다국어 에이전트 개발의 방향성을 제시합니다.