기술 요약: 환각은 언제 전파되는가?

문제 제기

멀티 에이전트 대규모 언어 모델(LLM) 시스템은 독립적인 샘플링이 독립적인 오류를 생성한다는 직관에 근거하여, 에이전트 간의 상호 검증이 환각을 줄일 것이라는 가정하에 배포되곤 한다. 그러나 최근의 실증 연구들은 상충하는 결과들을 제시한다: 어떤 연구는 파이프라인을 거치며 환각률이 감쇄(감소)한다고 보고하는 반면, 다른 연구는 증폭(증가)된다고 보고한다. 본 논문은 이러한 모순이 문헌들이 통일된 프레임 없이 서로 다른 축을 따라 서로 다른 양을 측정하기 때문에 발생한다고 주장한다. 즉, 한 연구는 미지원 텍스트의 유병률(광범위한 채널, extensive channel)을 측정하는 반면, 다른 연구는 해당 텍스트의 탐지 가능성(집약적 채널, intensive channel)을 측정할 수 있다. 하나의 클레임(claim)은 동시에 더 희귀해지면서(낮은 유병률) 동시에 탐지하기 더 어려워질(낮은 탐지 가능성) 수 있다.

나아가, 이 분야는 지난 1년간 제안된 6가지의 서로 다른 형식주의(formalisms)—오류 확산을 마르코프 과정, 네트워크 역학, 확률적 폭포(stochastic cascades), 컨텍스트 발산, 신뢰도 풀링, 또는 인과적 영향 텐서로 모델링하는 방식들—를 화해시킬 통합된 어휘가 부족한 상태이다. 기존의 서베이들은 에이전트 워크플로우, 시스템 능력 단계, 또는 애플리케이션 설정에 따라 분류하지만, 그 어떤 것도 "이동하는 클레임(travelling claim)"을 분석 단위로 삼지는 않는다.

방법론

본 논문은 2022년 말부터 2026년 말까지의 arXiv 기록에서 추출한 의도적 표본 추출 코퍼스 42편(포함된 연구 32편)에 대한 체계적 검토를 수행한다. 샘플링은 오류 확산의 특정 단계(증폭, 공고화, 전송, 귀속, 회복)와 형식화를 목표로 하는 할당 기반(quota-based) 방식으로 이루어졌다.

코딩 프로토콜:
저자는 다음으로 정의된 새로운 프레임워크에 따라 코퍼스를 코딩하였다:

1. 분석 단위: 에이전트나 시스템이 아닌, 클레임(명제) 자체.
2. 구조적 변수: 에이전트 오류의 상관관계 및 검증 채널의 독립성.
3. 결과 채널: 허위 긍정(FP) 증폭(허위 주장이 지지를 얻음)과 허위 부정(FN) 진실 억제(올바른 주장이 폐기됨)의 구분.
4. 검증의 정의: 검증자의 입력값이 클레임의 계보(provenance)와 서로 겹치지 않아야 한다는 엄격한 "독립적 증거"의 정의. 동일한 컨텍스트를 검토하는 이질적인 모델들은 독립적인 것으로 간지 않는다.

또한 본 연구는 현장의 보고 관행을 감사하여, 전파 수준의 메트릭, 독립적 검증 채널, 그리고 통신 그래프에서의 회복 가능한 아웃디그리(out-degree) 분포의 존재 여부를 확인하였다.

주요 기여

1. 오류 확산에 대한 조건부 설명

본 논문은 허위 클레임이 성장할지 여부가 두 가지 구조적 변수에 의해 결정된다고 제안한다:

• 상관 압력(Correlation Pressure): 에이전트들이 사전 지식, 프롬프트, 컨텍스트 또는 대화 이력을 공유하여 상관된 오류를 생성하는 정도.
• 독립적 검증(Independent Verification): 에이전트 집단의 계보와 분리된 증거를 제공하는 채널의 존재 (예: 외부 도구, 에이전트가 아닌 코퍼스로부터의 검색).

명제 1: 집합(aggregation)은 (i) 오류가 강한 양의 상관관계를 갖지 않고, (ii) 적어도 하나의 독립적 검증 채널이 존재할 때만 오류율을 감소시킨다. 만약 오류가 상관되어 있다면, 유효 투표자 수는 붕괴하며, 독립적인 증거 없이는 시스템이 스스로 교정될 수 없다.

2. 6가지 형식주의의 화해

저자는 기존의 6가지 형식주의(마르코프 과정, 네트워크 과정, 확률적 폭포 등)가 서로 모순되는 것이 아니라, 동일한 기저의 $(k, e)$ 프로세스를 서로 다른 관측값에 투영한 것임을 입증한다:

• $k$: 협조 횟수(다른 에이전트들로부터의 지지).
• $e$: 독립적 증거 횟수.
  각 형식주의는 서로 다른 측면(예: 탈출 확률, 재생산 수, 발산 점수)을 측정하지만, FP와 FN 채널을 분리하거나 증거의 독립성을 고려하지 못한다.

3. 임계치와 토폴로지(Topology)

본 논문은 분기비(branching ratio) $R = f \cdot s$를 정의한다. 여기서 $f$는 팬아웃(fan-out)이고 $s$는 홉당 생존 확률이다.

• 명제 2b: 선형 체인 토폴로지에서 $f=1$이므로, 구조적으로 $R < 1$이 된다. 따라서 체인은 (광범위한 채널로서) 캐리어(carrier)의 수를 증폭할 수 없다(즉, $R < 1$). 따라서 관찰된 모든 감쇄는 자기 교정의 증거라기보다 토폴로지적 결과이다.
• 그러나 체인은 의미론적 표류($\mu$)와 출처 세탁($\lambda$)을 통해 탐지 불가능성(집약적 채널)을 증폭할 수 있다.
• 가설 1: 토폴로지와 모델 규모 중 무엇이 지배적인지에 대한 문헌의 이견은, 특정 시스템이 $R=1$ 임계치와 관련하여 어디에 위치하는지에 따른 함수일 수 있다.

4. 거버넌스 및 개입

본 논문은 개입을 파라미터와 결과 채널에 매핑한다:

• 집합 상한선(Aggregation Ceiling) (명제 3): 어떤 집합 규칙(투표, 합의)도 집합 손실($\Lambda$)을 균일하게 제거하거나 후보 풀에 존재하지 않는 정보를 생성할 수 없다. 집합 측면의 개입은 FP와 FN 채널 사이의 제로섬 게임이다.
• 독립적 채널: 오직 독립적인 검증 채널을 추가하는 것만이 후보 풀을 단순히 재가중치 부여하는 것이 아니라 후보 풀 자체를 변경함으로써 FP와 FN 비율을 동시에 낮출 수 있다.
• 제1순위 구성 요소로서의 회복: 본 논문은 회복(탐지, 봉쇄, 롤백)을 예방과 구별되는 별개의 요소로 다룰 것을 주장한다. 지속적인 메모리(쓰기는 저렴하고 비가역적이지만, 철회는 비용이 많이 드는 '래칫(ratchet)' 효과)에서의 래칫 효과로 인해, 롤백 메커니즘이 없는 시스템은 영구적인 오류를 축적한다.

코딩된 코퍼스의 결과

• 보고 격차: 포함된 32편의 연구 중 10편만이 전파 수준의 메트릭을 보고했고, 9편만이 독립적 검증 채널을 보고했으며, 단 7편만이 아웃디그리 회복이 가능한 그래프 구조를 보고했다.
• 공통 발생 패턴: 독립적 검증과 증폭 사이의 공통 발생이 부재하다는 것이 결정적인 발견이다. 독립적 채널을 가진 9편의 연구는 모두 감쇄를 보고했다. 증폭을 보고한 두 편의 연구는 모두 독립적 채널이 없었다.
• 메트릭 희소성: 유효 재생산 수($R_{eff}$)와 집합 손실($\Lambda$)은 각각 단 한 편의 논문에서만 보고되었으며, 이는 분야 전반에 걸쳐 호환 가능한 양이 결여되어 있음을 강조한다.
• 다양성 역설: 설계 의도와는 반대로, 에이전트 답변의 초기 다양성을 높이는 것이 오히려 허위 채택(순응)을 증가시킬 수 있는데, 이는 불일치가 다수에게 수렴할 대상(target)을 제공하기 때문이다.

의의 및 주장

본 논문은 광범위한 채널(캐리어 수)과 집약적 채널(탐지 가능성/지지 강도)을 구분함으로써 멀티 에이전트 LLM의 신뢰성에 관한 상충하는 결과들을 화해시키는 첫 번째 프레임워크를 제공한다고 주장한다.

그 주요 의의는 다음과 같다:

1. 이견의 해소: "증폭"과 "감쇄"가 서로 배타적인 것이 아니라 동일한 프로세스의 서로 다른 투영임을 보여준다.
2. 독립성의 정의: 많은 문헌의 "검증" 절차를 단순한 조정 프로토콜로 재분류하는, 계보 기반의 엄격한 독립적 검증 정의를 확립한다.
3. 집합의 한계 식별: 후보 풀에 정답이나 독립적 증거가 부족한 경우, 투표나 합의 메커니즘이 오류를 해결할 수 없음을 증명한다.
4. 의제 설정: 향후 연구들을 비교 가능하게 만들기 위한 보고 표준(캐리어 세트, 집합 손실, 아웃디그리 분포, 비교 대상)을 제안하고, 인과적 메커니즘과 연구 아티팩트를 분리하기 위한 구체적인 실험을 제안한다.

본 논문은 양적 파라미터(예: 허위 채택 계수 $g$ 및 진실 포기 계수 $a$)가 현재 문헌에서 아직 추정되지 않았음을 언급하며 겸허히 결론을 맺는다. 이 프레임워크는 완전히 보정된 모델이라기보다는 증거를 조직하고 비교하기 위한 체계 역할을 하는 데 일차적인 목적이 있다.