기술 요약: 프로세스 인식 환각 감사를 통한 심층 연구 에이전트의 실패 패턴 진단

문제 제기

심층 연구 에이전트 (DRAs) 의 실패 패턴 진단은 여전히 중요한 과제로 남아 있습니다. 현재의 평가 벤치마크는 주로 연구 과정을 "블랙박스"로 취급하는 종단간 (end-to-end), 결과 기반 평가에 의존합니다. 이러한 접근법은 반복적인 계획 - 검색 - 요약 궤적 (plan-search-summarize trajectory) 전반에 걸쳐 누적되는 중간 단계의 환각을 가립니다. 결과적으로 기존 방법론은 두 가지 주요 한계를 겪습니다:

1. 불완전한 환각 탐지: 평가가 최종 보고서에만 집중하기 때문에, 오해의 소지가 있는 계획이나 부실한 요약과 같은 중요한 중간 단계 실패가 체계적으로 포착되지 않습니다.
2. 불투명한 성능 진단: 포괄적인 궤적 수준의 감사가 없으면 최종 실패를 특정 단계 (예: 계획 대 요약) 나 특정 오류 유형에 귀속시키기 어려워 정밀한 최적화를 방해합니다.

더욱이 프로세스 인식 평가를 실현하는 데는 세 가지 구체적인 장애물이 존재합니다: DRAs 에 특화된 분류 체계 (taxonomy) 의 부재, JSON 로그가 없는 경우가 많은 독점 에이전트로부터 구조화된 데이터를 획득하는 데 따른 장벽, 그리고 다단계 궤적을 위한 확장 가능한 평가 프레임워크 구축의 복잡성입니다.

방법론

1. PING 분류 체계 (PING Taxonomy)

분류 체계의 공백을 메우기 위해 저자들은 DRA 연구 궤적을 계획 (Plan, 행동), 검색 (Search, 외부 엔진에 의해 매개됨), **요약 (Summarize, 주장)**의 반복적 루프로 모델링합니다. 그리고 실패의 위치에 기반하여 환각을 네 가지 상호 보완적인 유형으로 분류하는 PING 분류 체계를 도입합니다:

• Grounding (Source-Level, 근원 수준): 요약 과정에서 주장이 검색된 소스와 일치하지 않을 때 발생합니다. 여기에는 증거 없이 주장을 펼치는 **Fabrication (조작)**과 주장을 지지하지 않는 문서를 인용하는 **Misattribution (부적절 인용)**이 포함됩니다.
• Noise-induced (Context-Level, 맥락 수준): 관련 증거가 검색되었으나 활용되지 않아 불완전한 결론에 이르는 맥락 활용 실패입니다. 이는 검색 품질의 한계와 맥락 실패를 구분합니다.
• Intent (Query-Level, 쿼리 수준): 에이전트가 사용자 쿼리를 오해하거나 불완전하게 충족시키는 계획 단계의 실패입니다. 여기에는 사용자 제약을 묵시적으로 무시하는 **Restriction Neglect (제약 무시)**와 의도와 다른 검색 쿼리를 수행하는 **Deviated Actions (일탈 행동)**이 포함됩니다.
• Propagation (Trajectory-Level, 궤적 수준): 후속 행동이 이전의 환각된 콘텐츠에 기반하여 구축되며 다중 라운드 전반에 걸쳐 오류를 증폭시키는 연쇄적 실패입니다.

2. 평가 프레임워크

저자들은 비정형 웹 UI 추적 (traces) 을 표준화된 원자 단위 (atomic units) 로 분해하여 이러한 환각을 감사하는 프로세스 인식 프레임워크를 개발합니다:

• 분해 (Decomposition): 파서와 LLM 을 사용하여 궤적을 원자 서브쿼리, 원자 행동, 원자 주장 (인용 매핑 유지) 으로 분해합니다.
• 주장 검증 (Grounding, 근원성): 주장과 증거를 검증하는 2 단계 파이프라인입니다. 1 단계는 인용된 문서에 대해 "검색 후 검증 (retrieve-then-verify)" 전략 (NLI 모델 다음에 LLM) 을 사용합니다. 2 단계는 증거 범위를 확장하여 조작과 부적절 인구를 구분하기 위해 적응형 재검증을 수행합니다.
• 노이즈 탐지 (Noise Detection): 클러스터 기반 휴리스틱이 맥락 활용 부족을 정량화합니다. 관련성별로 검색된 청크를 순위 매기고, 고가치 클러스터를 무시하면서 하위 순위 청크를 활용하는 에이전트를 패널티 처리하여 **노이즈 점수 ($H_N$)**를 계산합니다.
• 행동 검증 (Intent & Propagation, 의도 및 전파): 행동은 사용자 의도와 이전 발견 사항을 기준으로 검증되어 **행동 일탈 (Action Deviation)**과 **행동 전파 (Action Propagation)**를 탐지합니다. 제약 조건 확인은 원자 서브쿼리에 대한 행동의 관련성을 분석하여 무시된 사용자 제약을 식별합니다.

3. DeepHalluBench 구축

이 프레임워크를 활용하여 저자들은 궤적 수준의 스트레스 테스트에 전념하는 첫 번째 벤치마크인 DeepHalluBench를 큐레이션합니다. 이는 3 단계 파이프라인을 통해 선정된 100 개의 쿼리로 구성됩니다:

1. 집계 (Aggregation): 기존 벤치마크 (Mind2Web2, ReportEval, BrowseComp) 에서 쿼리를 추출합니다.
2. 난이도 평가 (Difficulty Assessment): 강력한 DRA(Gemini) 가 후보들을 위한 궤적을 생성하며, 가장 높은 복합 환각 점수 ($H$) 를 가진 것들을 선정합니다.
3. 적대적 합성 (Adversarial Synthesis): 원래 제약을 충족 불가능하게 만들기 위해 원자적 교란 (예: 시간적 세부 사항 또는 개체 속성 변경) 을 적용하여 25 개의 "답변 불가 (no-answer)" 쿼리를 합성합니다. 이는 에이전트가 불가능한 작업을 거부하는 능력을 테스트합니다.

이 벤치마크는 11 개의 다양한 도메인에 걸쳐 개방형과 폐쇄형 작업을 균형 있게 구성합니다.

주요 결과

저자들은 DeepHalluBench 에서 여섯 가지 대표적인 DRA(독점 에이전트 5 개: Gemini, OpenAI, Perplexity, Qwen, Grok; 오픈소스 에이전트 1 개: Salesforce Deep Research) 를 평가했습니다.

• 전반적인 신뢰성 격차: 어떤 시스템도 균일하게 낮은 환각률을 달성하지 못했습니다. OpenAI가 가장 낮은 전체 복합 점수 ($H=0.1546$) 를 기록했으며, 이어 Qwen($0.1560$) 이 뒤를 이었습니다. Perplexity는 가장 높은 환각 점수 ($0.2084$) 를 보였습니다.
• 차원별 실패:
  • Grounding: 조작과 인용 충실도 사이에 트레이드오프가 존재합니다. OpenAI 와 Grok 는 더 높은 조작률을 보인 반면, Salesforce 는 조작은 적었지만 인용을 부적절하게 하는 경우가 훨씬 더 많았습니다.
  • Noise-induced: 이는 가장 양극화된 차원이었습니다. Salesforce 가 가장 낮은 점수를 기록했는데 (더 좁은 검색 범위 때문일 수 있음), Grok 와 Perplexity 는 긴 맥락에서 증거 우선순위를 정하는 데 어려움을 겪었습니다.
  • Intent: 실패는 심각한 행동 일탈보다는 사용자 제약의 불완전한 커버리지에 의해 더 많이 주도되었습니다. Salesforce 가 여기서 가장 나쁜 성적을 보였으며, 이는 보수적인 행동이 다중 제약 충족을 약화시켰음을 시사합니다.
  • Propagation: 상대적으로 드물지만, 전파는 초기 오류가 후속 단계로 계승되는 장기 불안정성을 나타냈습니다.
• 폐쇄형 vs 개방형: 폐쇄형 작업은 **과신 (Gemini, Grok 가 적대적인 "답변 불가" 쿼리를 거부하지 못함)**과 과도한 보수주의 (Salesforce, Qwen 이 답변 가능한 쿼리를 조기에 거부함) 사이의 중요한 트레이드오프를 드러냈습니다.
• 실패 메커니즘: 진단 분석은 실패를 두 가지 주요 체계적 원인으로 추적했습니다:
  1. 환각 전파: 초기 단계의 오류 (특히 Gemini 와 OpenAI 와 같은 독점 에이전트에서) 가 궤적을 통해 연쇄적으로 퍼지는 "도미노 효과".
  2. 인지 편향:
     • 시간적 "앵커 효과 (Temporal Anchor Effect)": 에이전트가 초기 검색 청크를 불균형적으로 선호하며, 검색 품질이 향상되더라도 후기 단계에서 활용도가 급격히 떨어집니다.
     • 의미적 "동질성 편향 (Semantic Homogeneity Bias)": 에이전트가 고유하고 단일한 통찰보다는 중복되고 동질적인 콘텐츠를 선호하여 다양한 정보를 우선순위로 정하는 데 어려움을 겪습니다.

중요성과 기여

이 논문은 세 가지 주요 기여를 주장합니다:

1. PING 분류 체계: 단순한 사실 확인을 넘어 의도, 노이즈, 전파를 포함하는 전체 연구 궤적 전반에 걸쳐 DRA 환각을 특성화하는 체계적인 프레임워크.
2. DeepHalluBench 및 평가 프레임워크: 중간 단계의 환각을 가시화하고 측정 가능하게 만들도록 설계된 첫 번째 벤치마크이자 프로세스 인식 프레임워크로, 소스 충실도, 맥락 활용, 오류 전파의 정밀한 검증을 가능하게 합니다.
3. 진단적 통찰: 현재 시스템이 환각 전파와 인지 편향 (앵커 및 동질성 효과) 과 같은 체계적 결함을 겪고 있음을 규명한 여섯 가지 DRA 에 대한 분석.

중요성: 저자들은 DRA 신뢰성 향상을 위해서는 검색 규모를 확장하거나 더 강력한 백본 모델을 사용하는 것만으로는 부족하다고 주장합니다. 대신 미래의 진보는 궤적에서 식별된 특정 실패 모드를 완화하기 위해 초기 오류 수정, 더 나은 메모리 관리, 주의 편향 감소를 지원하는 아키텍처 개입을 요구합니다. 이 연구는 장기 연구 작업의 복잡성을 처리하기 위해 에이전트 아키텍처를 최적화하는 데 실행 가능한 통찰을 제공합니다.