MARCH: Evaluating the Intersection of Ambiguity Interpretation and Multi-hop Inference

1. 문제 정의 (Problem)

기존의 다중 홉 (Multi-hop) 질문 응답 (QA) 과 모호성 (Ambiguity) 해결은 각각 별도의 연구 주제로 다뤄져 왔으나, 실제 사용자 쿼리에서는 이 두 가지가 복합적으로 작용합니다.

• 잠재적 모호성 (Latent Ambiguity): 다중 홉 추론 과정에서 첫 번째 단계의 모호성이 해결되지 않은 채 두 번째 단계로 넘어가면, 두 번째 단계의 모호성 (예: 'Mustang'이 자동차인지 기타 부품인지, 'Pickup'이 트럭인지 기타 픽업인지) 이 드러나지 않고 숨겨진 채로 남게 됩니다.
• 경로 의존성 (Path-dependency): 초기 단계에서 잘못된 해석을 선택하면, 이후의 증거 수집 (Retrieval) 과 추론 경로가 그 잘못된 가정에 고정되어 (Lock-in), 올바른 답을 도출할 수 있는 다른 경로를 일찍 잘라버리게 됩니다.
• 기존 벤치마크의 한계: 기존 데이터셋 (MuSiQue, ASQA 등) 은 단일 홉 모호성 또는 명확한 다중 홉 추론에 집중하여, 이 두 가지가 교차하는 복잡한 시나리오를 평가하지 못했습니다.

2. 방법론 (Methodology)

A. MARCH 벤치마크 구축

저자들은 MARCH (Multi-hop Ambiguity Reasoning CHain) 라는 새로운 벤치마크를 제안했습니다.

• 데이터 구성: MuSiQue 데이터셋을 기반으로 2,209 개의 다중 홉 모호성 질문을 구축했습니다.
• 구축 파이프라인 (4 단계):
  1. 모호성 감지 및 명확화: 여러 LLM(GPT-4.1, Llama-4, Qwen3, Claude 등) 을 활용하여 질문의 모호성 유형 (의미론적, 구문론적, 제약 조건) 을 감지하고, 이를 해결하는 명확화된 질문 (Clarified Questions) 을 생성합니다.
  2. 문서 수집: 명확화된 질문을 기반으로 위키백과에서 증거 문서를 검색하고 재순위화합니다.
  3. 답변 생성: 각 해석에 대한 짧은 답변 (Short Answer) 과 모든 해석을 통합한 긴 답변 (Long Answer) 을 생성합니다.
  4. 필터링 및 검증: 인간 어노테이터와 LLM 을 통한 엄격한 검증을 거쳐 데이터 품질을 확보했습니다 (Fleiss' κ 0.95 이상의 높은 일치도).
• 모호성 유형 분류:
  • 의미론적 (Semantic): 동음이의어나 엔티티 충돌 (예: Mustang = 자동차 vs 기타).
  • 구문론적 (Syntactic): 문법적 구조에 따른 해석 차이 (예: 전치사구 부착 위치).
  • 제약 조건 (Constraint): 지나치게 구체적인 제한 사항으로 인해 의도가 좁아지는 경우.

B. CLARION 프레임워크 제안

MARCH 문제를 해결하기 위해 CLARION (CLarifying Ambiguity with a Reasoning and InstructiON) 이라는 2 단계 에이전트 프레임워크를 제안했습니다.

• 핵심 아이디어: 모호성 계획 (Planning) 과 증거 기반 추론 (Acting) 을 명시적으로 분리합니다.
• Planning Agent (계획 에이전트):
  • 입력 질문을 분석하여 모호성 유무와 유형을 감지합니다.
  • 모호성이 감지되면, 모든 가능한 해석을 명확화한 질문 세트를 생성하여 추론 계획을 수립합니다.
  • 초기 추론 경로의 선점 (Premature commitment) 을 방지합니다.
• Acting Agent (실행 에이전트):
  • ReAct(Reasoning + Acting) 스타일의 루프를 통해 각 명확화된 해석에 대해 독립적으로 증거를 검색하고 추론합니다.
  • 자기 수정 (Self-correction): 중간에 증거 불일치가 발견되면 다시 Planning 단계를 호출하여 해석 집합을 확장하거나 수정할 수 있습니다.
  • 최종적으로 모든 해석을 통합한 긴 답변을 생성합니다.

3. 주요 기여 (Key Contributions)

1. MARCH 벤치마크: 모호성 해석과 다중 홉 추론의 교차점을 평가하는 최초의 대규모 벤치마크를 제공했습니다. 이는 기존 모델이 놓치기 쉬운 '잠재적 모호성'과 '경로 의존적 오류'를 포착합니다.
2. CLARION 프레임워크: 모호성 해결을 추론 루프에서 분리하여, 초기 해석 오류가 전체 추론 체인에 전파되는 것을 방지하는 새로운 아키텍처를 제시했습니다.
3. 실증적 분석: 최신 LLM 들조차 MARCH 에서 심각한 성능 저하를 보이며, 특히 '경로 의존성'으로 인해 초기 해석 선택이 추후 단계의 증거 수집을 왜곡한다는 사실을 규명했습니다.

4. 실험 결과 (Results)

• 성능 비교: Qwen3-235b, Gemini-2.5, DeepSeek-v3.1 등 최첨단 모델들을 대상으로 실험한 결과, 제안된 CLARION이 모든 모델과 메트릭 (STR-EM, Disambig-F1, LLM-as-a-Judge) 에서 기존 베이스라인 (NaiveRAG, CoT, ReAct, DIVA 등) 을 압도적으로 능가했습니다.
  • 예: Qwen3-235b 기준, CLARION 은 STR-EM 38.73%, Disambig-F1 28.38% 를 기록하여 차기 모델 (약 25~26%) 보다 월등히 높았습니다.
• Ablation Study: CLARION 에서 '명확화 (Clarification)' 모듈을 제거하면 성능이 크게 하락하여, 추론 전 모호성을 명시적으로 해결하는 과정의 중요성을 입증했습니다.
• 인간 성능 비교: 인간 어노테이터의 성능 (STR-EM 73.0%) 과 비교했을 때, CLARION(38.73%) 이 가장 잘 수행했지만 여전히 큰 격차가 존재하여, 이 문제가 해결되지 않은 난제임을 확인했습니다.
• 유형별 성능: 제약 조건 (Constraint) 모호성 해결이 가장 잘 되고, 의미론적 (Semantic) 및 구문론적 (Syntactic) 모호성에서 어려움이 더 큽니다. 이는 후자의 경우 해석에 따라 추론 경로와 브리지 엔티티가 완전히 달라지기 때문입니다.

5. 의의 및 결론 (Significance)

• 새로운 평가 기준: 단순한 정보 검색이나 단일 홉 추론을 넘어, 실제 복잡한 사용자 의도를 이해하기 위해 필요한 '잠재적 모호성'과 '다단계 추론'의 결합을 평가할 수 있는 기준을 마련했습니다.
• 에이전트 설계의 패러다임 전환: 기존 ReAct 방식이 단일 추론 경로를 따르며 초기 오류를 수정하지 못하는 한계를 지적하고, 계획 (Planning) 과 실행 (Acting) 의 분리를 통해 다중 경로를 동시에 탐색하고 검증하는 새로운 에이전트 설계 방향을 제시했습니다.
• 미래 연구 방향: 현재 모델들이 다중 홉 모호성 문제를 해결하는 데 여전히 한계가 있음을 보여주었으며, 향후 더 강력하고 견고한 추론 시스템 개발을 위한 기초를 제공했습니다.

요약하자면, 이 논문은 MARCH라는 새로운 벤치마크를 통해 다중 홉 QA 에서의 모호성 문제의 심각성을 드러냈고, 이를 해결하기 위해 CLARION이라는 계획 중심의 에이전트 프레임워크를 제안하여 기존 모델들의 한계를 극복하는 성과를 보였습니다.