Trace-Level Analysis of Information Contamination in Multi-Agent Systems

"다중 에이전트 시스템에서의 정보 오염에 대한 추적 수준 분석" 논문의 상세한 기술적 요약은 다음과 같습니다.

1. 문제 제기

다중 에이전트 시스템 (MAS) 은 increasingly 복잡한 추론 작업을 수행하기 위해 이질적인 외부 아티팩트 (PDF, 스프레드시트, 슬라이드, 오디오) 에 의존하고 있습니다. 이러한 소스에서 추출된 정보는 추출기, 분석가, 검증자 등 전문 에이전트 간에 전달됩니다. 본 논문이 다루는 핵심 문제는 정보 오염입니다. 즉, 이러한 아티팩트 추출 또는 파싱 과정에서 발생하는 오류 (예: 정렬이 틀린 표 열, OCR 노이즈, 손상된 텍스트) 가 워크플로우 전체로 전파되는 현상입니다.

현재의 평가 관행은 주로 최종 결과 정확도(최종 답변이 기준 정답과 일치하는가?) 에 초점을 맞추고 있습니다. 저자들은 이것이 불충분하다고 주장합니다.

• 분리 (Decoupling): 워크플로우는 구조적으로 분기 (실행 경로 변경) 하여 정답을 복구할 수도 있고, 구조적으로 안정적이지만 잘못된 출력을 생성할 수도 있습니다.
• 숨겨진 비용: 최종 답변이 정확하더라도 구조적 불안정성 (경로 재설정, 재시도) 은 토큰, 시간 등 상당한 운영 비용을 초래합니다.
• 가드레일 실패: 일반적인 검증 메커니즘 (스키마 확인, 형식 유효성 검사) 은 종종 "국소적으로는 그럴듯하지만 전역적으로 오염을 유발하는" 데이터를 차단하지 못합니다.

2. 방법론

저자들은 구조화된 다중 에이전트 워크플로우를 통해 불확실성이 어떻게 전파되는지 정량화하기 위한 추적 수준 분석 프레임워크를 제안합니다.

실험 설정

• 벤치마크: 파일 첨부 (표, 문서, 이미지, 오디오) 에 의존하는 32 개의 GAIA 벤치마크 작업.
• 아키텍처: 공유 워크스페이스를 통해 통신하는 전문 역할 (조정자, 데이터 분석가, 사실 확인자, 종합자 등) 을 가진 고정된 다중 에이전트 오케스트레이션.
• 모델: GPT-5-mini, LLaMA-3.1-70B, Qwen3-235B 세 가지 LLM 백엔드에서 실험 수행.
• 데이터: 작업당 614 개의 쌍을 이루는 실행 (정제된 vs. 교란된).

교란 전략

원본 파일을 수정하는 대신, 저자들은 아티팩트에서 파생된 표현(예: OCR 도구가 추출한 텍스트 구간 또는 PDF 에서 파싱된 표) 에 구조적 교란을 주입합니다.

• 교란 유형: 열 교환, 단위 변경, OCR 노이즈, 이미지 흐림, 인코딩 오류, 텍스트 가려두기 등을 포함합니다.
• 통제: 교란의 효과를 격리하기 위해 프롬프트, 시드, 에이전트 역할 등 다른 모든 변수는 일정하게 유지됩니다.

측정 프레임워크

핵심 혁신은 최종 출력뿐만 아니라 **실행 추적 (Execution Traces, $\tau$)**을 활용하는 것입니다.

1. 구조적 서명: 이벤트 (라우팅 결정, 도구 호출, 메모리 읽기) 를 어휘적 노이즈 (예: 다른 문장 표현) 를 무시하고 제어 흐름에 집중하기 위해 구조적 서명으로 추상화합니다.
2. 추적 분기: 정제된 추적과 교란된 추적 간의 정규화된 구조적 편집 거리($d_{norm}$) 를 사용하여 측정합니다.
3. 최초 분기점 ($t^\star$): 교란된 실행이 기준선에서 처음으로 벗어나는 정확한 단계를 식별하여 실패 메커니즘을 국소화합니다.
4. 지표:
   • 결과: 작업 성공/실패.
   • 비용: 토큰 오버헤드 (교란된 vs. 정제된).
   • 제어 흐름: 경로 재설정, 확장된 실행 (루프), 조기 종료.

3. 주요 기여

1. 오염 발현에 대한 공식적 분류 체계:
   • 침묵적 의미론적 부패 (15.3%): 실행 추적이 기준선과 구조적으로 동일하게 유지됨 ($d_{norm} \approx 0$) 하지만 최종 출력은 잘못됨. 시스템이 오류 상태를 트리거하지 않고 손상된 데이터를 "수용"합니다.
   • 회복을 동반한 행동적 우회 (40.3%): 실행 경로가 크게 분기 (경로 재설정, 재시도, 추가 단계) 하지만 시스템이 성공적으로 보상하여 정답을 생성합니다.
   • 복합적 교란 (39.9%): 실행 경로와 최종 출력 모두 손상됩니다.
2. 추적 기반 측정 프레임워크: 구조적 편집 거리와 최초 분기점을 사용하여 오염을 탐지, 국소화, 정량화하는 방법으로, 최종 결과만 평가하는 것을 넘어섭니다.
3. 비용 - 정확도 분리에 대한 경험적 증거: 높은 운영 비용이 정확성을 보장하지 않으며, 낮은 비용이 안전성을 보장하지 않음을 입증합니다.

4. 주요 결과 및 발견

구조와 결과의 분리

• 발견 1: 최종 지표는 불충분합니다. 주요 구조적 분기가 있는 실행의 40.3% 는 정답을 복구했지만, 안정적인 추적을 가진 실행의 15.3% 는 침묵적으로 실패했습니다.
• 시사점: 답변 정확도만으로는 내부 불안정성을 숨기며, 추적 분기만으로는 시스템이 실제로 적응하고 있을 때 "실패"에 대한 오탐지를 생성합니다.

제어 흐름 서명

• 경로 재설정 (분기된 실행의 80.6%): 오염에 대한 가장 일반적인 대응입니다. 에이전트들이 불일치를 감지하고 전략을 전환합니다.
• 확장된 실행 (37.4%): 오염이 재시도 루프와 다단계 검증을 유발하여 높은 토큰 비용 (중앙값 기준선 대비 1.5 배~2.4 배) 을 초래합니다.
• 조기 종료 (25.3%): 오디오 모달리티에서 전파가 중단될 때 흔히 발생합니다.
• 모달리티 특이성: 표 데이터 교란은 종종 확장된 실행을 유발하는 반면, 오디오 교란은 조기 종료를 선호합니다.

시간적 국소화

• 초기 분기 ($t^\star < 0.1$): 기초 추출 실패 (예: 파싱 오류) 를 나타냅니다.
• 후기 분기 ($t^\star > 0.3$): 추론 단계 민감도 (예: 미묘한 수치 오염에서 비롯된 산술 오류) 를 나타냅니다.

운영 비용

• 발견 4: 비용은 정확도의 나쁜 지표입니다.
  • **76.2%**의 저비용 실행이 잘못된 답변을 생성했습니다 (침묵적 부패).
  • **16.3%**의 고비용 실행 (>2 배 토큰) 만이 정답을 생성했습니다.
• 발견 5: 높은 토큰 오버헤드는 회복을 예측하지 못합니다. 일부 교란 (예: 워터마크) 은 드물게 성공하는 비싼 우회를 유발하는 반면, 다른 것들 (예: 인코딩 오류) 은 적절한 회복을 허용합니다.

모델 차이

• LLaMA-3.1-70B는 GPT-5-mini 및 Qwen3-235B 에 비해 더 일찍 분기 (오류 감지 가속) 했지만 회복률은 더 낮았습니다.
• GPT-5-mini는 "회복을 동반한 행동적 우회" 비율이 가장 높았습니다 (48.6%), 더 강력한 적응 전략을 시사합니다.

5. 중요성 및 시사점

• 현재 가드레일에 대한 비판: 표준 가드레일 (스키마 유효성 검사, 재시도 예산) 은 오염이 구조적 오류로 나타난다고 가정하기 때문에 실패합니다. 침묵적 의미론적 부패는 이러한 검사를 완전히 우회합니다.
• 설계 권장 사항:
  • 표적 검증: 검증 전략은 모달리티별로 구체화되어야 합니다 (예: 오디오에 대한 공격적인 유효성 검사, 표에 대한 스키마 확인).
  • 비용 인식 방어: 시스템은 고비용 실행이 반드시 "성공적인" 적응이 아니며, 저비용 실행이 반드시 "안전한" 것은 아님을 인식해야 합니다.
  • 추적 네이티브 평가: 미래 벤치마크는 완전한 견고성 스펙트럼을 포착하기 위해 최종 답변뿐만 아니라 실행 추적을 평가해야 합니다.
• 미래 방향: 본 논문은 출처 기반 기원 귀속(특정 추출 오류로 거슬러 올라가는 추적), 오염 내성 워크플로우 학습(견고한 라우팅을 위한 RL), 예측 오염 위험 기반 적응형 검증 예산을 요구합니다.

요약하자면, 본 논문은 다중 에이전트 시스템에서의 정보 오염이 구조적 안정성과 의미론적 정확도가 종종 불일치하는 복잡하고 다차원적인 현상임을 규명합니다. 이는 이러한 불일치를 측정하기 위한 엄격한 프레임워크를 제공하여 더 견고하고 비용 효율적이며 검증 가능한 에이전트 시스템으로 나아가는 길을 제시합니다.