기술 요약: ExComm – 오류 복원력 있는 에이전트 테스트 시간 확장을 위한 탐색 단계 커뮤니케이션

1. 문제 제기

본 논문은 장기 범위 에이전트 테스트 시간 확장 (TTS) 에서 발생하는 치명적인 고장 모드인 오류 전파를 다룹니다. 복잡한 추론 작업에서 중간 단계에 도입된 사실적 오류나 유효하지 않은 추론은 종종 에이전트의 신념 상태 내에 남아 후속 추론을 오염시키고 잘못된 최종 답변으로 이어집니다.

기존 TTS 방법은 이 과정에 대한 제한된 통제력을 제공합니다:

• 병렬 샘플링 (예: Best-of-N, 자기 일관성): 에이전트가 자신의 실수를 감지하는 것에 크게 의존하며, 이는 종종 신뢰할 수 없습니다.
• 트리 검색: 명시적 수정보다는 브랜치 선택을 통해 오류를 완화하지만, 가지치기되지 않은 오류는 하류 추론을 형성하는 것을 계속합니다.
• 사후 집계: 오류가 이미 추론 궤적을 형성한 후에만 개입합니다.

저자들은 에이전트 워크플로우의 반복적 구조가 탐색 단계(후보 솔루션이 최종화되기 전) 에 자연스러운 개입 지점을 제공한다고 가정합니다. 이 단계에서 병렬 추론 궤적 간의 구조화된 커뮤니케이션은 오류가 전파되기 전에 신념 수준의 오류를 감지하고 해결할 수 있다고 주장합니다.

2. 방법론: ExComm

ExComm 는 표준 에이전트 테스트 시간 확장 루프를 보강하도록 설계된 커뮤니케이션 프로토콜입니다. 병렬 에이전트의 각 실행 단계 후에 작동하며 두 가지 핵심 모듈로 구성됩니다:

2.1. 온라인 신념 일관성 모듈

이 모듈은 병렬 에이전트 간의 사실적 충돌의 감지 및 해결을 목표로 합니다.

• 동기: 경험적 관찰에 따르면 병렬 추론의 중간 오류 중 67~71% 가 감지 가능한 에이전트 간 사실적 충돌로 나타납니다.
• 충돌 추출: 이 모듈은 $N$개의 병렬 에이전트로부터 신념 상태 $\{B_i\}$를 수집하고 상호 배타적인 사실적 주장을 식별합니다.
• 도구 기반 검증: 문제 해결 에이전트와 분리된 전용 분리형 ReAct 루프가 도구 (예: 코드 인터프리터, 검색) 를 사용하여 충돌을 해결합니다. 이는 에이전트가 서로의 내부 상태에 직접 접근하지 않도록 하여 다양성을 유지합니다.
• 소프트 신념 업데이트: 에이전트의 신념을 덮어쓰는 (하드 업데이트) 대신, 검증된 피드백을 "소프트" 업데이트로 추가합니다. 이는 수정을 외부 제안으로 처리하여 에이전트가 원래 신념 상태를 유지하면서 충돌을 재검토하도록 유도합니다. 이는 검증자가 잘못되었을 경우 새로운 오류를 도입할 위험을 완화하고 궤적 다양성을 보존합니다.

2.2. 궤적 다양화 모듈

이 모듈은 과도한 정보 공유로 인해 병렬 에이전트가 조기에 동기화되는 다양성 붕괴의 위험을 다룹니다.

• 배치 분석: 이 모듈은 모든 에이전트의 계획 집합 $\{P_i\}$를 분석하여 중복된 전략이나 탐색되지 않은 직교 방향을 식별합니다.
• 계획 재지시: 특정 에이전트에 대해 표적 지시를 내려 그들의 계획을 직교 전략 쪽으로 전환하도록 지시합니다.
• 표적 개입: 지시는 계획 수준에만 적용되며 작업 실행은 자율적으로 유지됩니다. 이는 에이전트가 서로의 전체 계획을 검토하지 않고도 상호 보완적인 경로를 탐색하도록 보장합니다.

3. 주요 기여

1. 탐색 단계 커뮤니케이션 프로토콜: 추론 과정 중 (사후가 아닌) 개입하여 구조화된 커뮤니케이션을 통해 오류를 감지하고 수정하는 새로운 프레임워크.
2. 이중 모듈 아키텍처: 도구 검증을 통한 오류 수정을 위한 온라인 신념 일관성 모듈과 검색 공간 다양성 유지를 위한 궤적 다양화 모듈의 통합.
3. 소프트 신념 업데이트 메커니즘: 에이전트 신념을 덮어쓰지 않고 검증된 수정 사항을 통합하여 오류 복구와 독립적 추론 궤적 보존 사이의 균형을 맞추는 전략.
4. 경험적 검증: 다양한 모델 (Gemini-2.5-Flash-Lite, Qwen3.5-4B, Qwen3-235B) 을 사용하여 수학적 추론 (AIME 2024/2025) 과 다단계 에이전트 추론 (GAIA) 에 대한 포괄적 평가.

4. 실험 결과

실험은 코드 인터프리터, 파일 관리, 웹 검색과 같은 도구에 접근할 수 있는 AIME 2024, AIME 2025, GAIA(레벨 1~3) 에서 수행되었습니다.

• 성능 향상: ExComm 은 순차적 수정, 독립적 확장, 트리 검색을 포함한 강력한 베이스라인보다 일관되게 우수한 성과를 거두었습니다.
  • Gemini-2.5-Flash-Lite에서 ExComm 은 최상위 베이스라인 대비 평균 **5.7%**의 성능 향상을 달성했습니다.
  • Qwen3.5-4B에서는 평균 **5.0%**의 향상을 달성했습니다.
• 오류 복구: ExComm 은 오류가 전파되기 전에 수정할 수 있는 능력을 확인하며 베이스라인에 비해 현저히 높은 오류 복구율 (Gemini 의 경우 38.7%, Qwen 의 경우 61.8%) 을 보여주었습니다.
• 확장성: 모델 크기 (최대 Qwen3-235B) 와 에이전트 수 (4 에서 8 로) 를 확장할 때 일관된 개선을 보여주었습니다.
• 다양성 대 정확도: Multi-Agent Debate 및 Mixture-of-Agents 와 같은 적응형 커뮤니케이션 프로토콜과 비교하여 ExComm 은 우수한 궤적 다양성 (Self-BLEU 로 측정) 을 유지하면서 더 높은 정확도를 달성했습니다.
• 효율성: ExComm 은 더 낮은 API 비용과 유사한 지연 시간으로 4 개의 에이전트만 사용하여 8 개 에이전트 베이스라인의 정확도와 일치하거나 초과하는 최적의 성능 - 비용 균형을 달성했습니다.

5. 중요성 및 주장

본 논문은 ExComm이 에이전트 추론 확장을 위한 유망하고 대부분 탐구되지 않은 축을 대표한다고 주장합니다. 그 중요성은 다음과 같습니다:

• 오류 전파 직접 해결: 탐색 단계 동안 개입함으로써 기존 TTS 방법이 통제하기 어려운 고장 모드인 하류 추론의 "오염"을 방지합니다.
• 수정과 다양성의 균형: 설계는 사실적 일관성의 필요성과 다양한 탐색의 필요성을 명시적으로 균형 있게 조정하여 다른 커뮤니케이션 프로토콜에서 보이는 조기에 동기화를 방지합니다.
• 실용성: 이 방법은 유리한 성능 - 비용 균형을 제공하며, 표적 탐색 단계 커뮤니케이션이 단순히 독립적 궤적 수를 늘리거나 사후 정리에 의존하는 것보다 더 효율적임을 시사합니다.

저자들은 탐색 단계 커뮤니케이션의 설계 공간, 즉 무엇을 공유할지, 언제 개입할지, 그리고 어떻게 수정과 다양성을 균형 있게 맞출지에 대한 것이 에이전트 시스템의 향후 개발을 위한 중요한 영역이라고 결론지었습니다.