기술 요약: 에이전트 시스템에서의 신뢰 세탁 (Confidence Laundering)

1. 문제 정의: 인터페이스 병목 현상과 신뢰 세탁

도구 호출, 정보 검색, 중간 추론 등의 하위 작업을 분해하여 복잡한 과업을 수행하는 현대의 다단계 에이전트 시스템(특히 LLM 기반 시스템)은 매우 정교합니다. 최근 연구들은 개별 단계의 불확실성을 추정하거나 궤적(trajectory) 전체의 불확실성을 집계하는 데 집중해 왔으나, 결정적인 구조적 간극이 존재합니다. 그것은 바로 구성 요소 간에 불확실성이 어떻게 전파되는가 하는 문제입니다.

본 논문은 **신뢰 세탁(confidence laundering)**이라 명명된 현상을 식별합니다. 표준 에이전트 아키텍처에서 상류(upstream) 구성 요소들은 불확실성, 모호함 또는 취약한 근거 조건 하에서 중간 결정(예: 도구 호출, 검색 쿼리, 검색된 구절, 구조화된 필드 등)을 내립니다. 그러나 표준 인터페이스는 오직 확정된 산출물(committed artifact)—즉, 이산적이고 실행 가능한 출력값—만을 전달할 뿐, 그 결과물을 만들어낸 인식적 상태(epistemic state)(망설임, 경쟁하는 가설, 혹은 취약성)는 폐기해 버립니다.

이는 다음과 같은 인터페이스 병목 현상을 초래합니다:

• 다대일 투영 (Many-to-One Projection): 서로 판이하게 다른 불확실성 프로필을 가진 다양한 내부 상태(예: 확신에 찬 결정 vs. 여러 대안 사이의 팽팽한 접전)가 동일한 이산적 산출물(예: 동일한 검색 쿼리 또는 API 호출)로 투영됩니다.
• 취약성 상실 (Loss of Fragility): 하류(downstream) 구성 요소들은 절차적으로 유효하고 실행 가능한 것처럼 보이는 '깨끗한' 객체를 전달받습니다. 이들은 결정 사항은 물려받지만, 그 이면에 숨겨진 불확실성은 물려받지 못합니다.
• 시스템 수준의 오류 증폭 (System-Level Error Amplification): 하류 에이전트들은 이러한 취약한 상류의 결정을 안정적인 전제로 취급하며, 이는 과잉 확신으로 이어집니다. 주의, 명료화, 또는 경로 재설정을 유발해야 할 불확실성이 유창한 텍스트나 유효한 JSON 뒤에 숨겨짐으로써, 국소적인 미교정(miscalibration)이 시스템 전체의 실패로 전이됩니다.

저자들은 불확실성 전파가 단순히 궤적 수준의 추정 문제가 아니라 인터페이스 설계의 문제라고 주장합니다. 불확실성은 상류 결정의 취약성이 다음 구성 요소로의 인계 과정에서 살아남을 때만 비로소 전파될 수 있습니다.

2. 방법론 및 핵심 개념

2.1 불확실한 결정 인계 (Uncertain Decision Handoff)

본 논문은 불확실한 결정 인계를 불확실성 하에서 내려진 중간 결정을 상류 구성 요소에서 하류 구성 요소로 전달하는 것으로 정의합니다. 단순한 통신과 달리, 인계는 **운영적 책임(operational responsibility)**을 전달합니다. 하류 구성 요소는 해당 산출물을 계산, 도구 실행 또는 답변 생성을 위한 전제로 사용합니다. 만약 인계 과정에서 취약성의 맥락이 제거된다면, 하류 구성 요소는 해당 전제의 신뢰도를 판단할 수 없게 됩니다.

2.2 잠재적 불확실성 (Latent Uncertainty)이라는 매개체

신뢰 세탁 문제를 해결하기 위해 저자들은 잠재적 불확실성을 제안합니다.

• 정의: 잠재적 불측성은 에이전트의 내부 연속 상태(예: 은닉 상태, 활성화 값 또는 KV 트레이스)로부터 유도되어 결정 인계 시 부착되는 불확실성을 담은 표현입니다.
• 스칼라/텍스트 신호와의 차이점: 스칼라 확신도 점수(다차원적 인식 상태를 단일 숫자로 붕괴시킴)나 텍스트 기반 근거(언어 표현에 민감하며 불확실성의 구조를 압축할 수 있음)와 달리, 잠재적 불확실성은 표현 수준의 매개체(representation-level carrier) 역할을 합니다. 이는 자연어 통신을 반드시 대체하지 않으면서도, 하류 구성 요소가 사용할 수 있는 형태로 '사전 확정 전의 취약성(pre-commitment fragility)'을 보존합니다.
• 목표: 목표는 텍스트를 은닉 상태로 대체하는 것이 아니라, 인터페이스 붕괴 과정에서도 '의구심'이 살아남도록 하여 하류 에이전트가 적절한 복구 동작(예: 명료화, 재시도, 검증 또는 경로 재설정)을 트리거할 수 있도록 하는 것입니다.

2.3 실험 설정

저자들은 Qwen-1.5B를 HotpotQA 데이터셋에 적용하여 웹 검색 도구 사용 환경으로 변환해 모델의 주장을 검증합니다.

• 과업: 상류 에이전트는 다단계 질문을 받고, 검색 쿼리를 생성하며, Tavily 웹 검색 API를 호출하고, 반환된 스니펫을 처리하여 최종 답변을 생성합니다.
• 불확실성 레이블링: 데이터셋의 난이도 레이블(Easy/Medium/Hard)에 의존하는 대신, 행동적 관점에서 불확실성 레이블을 도출합니다. 모델은 질문당 여러 개의 궤적($K=20$)을 샘플링합니다. 생성된 답변 클러스터의 **의미론적 엔트로피(semantic entropy)**가 불확실성의 그라운드 트루스(높은 엔트로피 = 높은 불확실성) 역할을 합니다.
• 인계 조건: 연구는 네 가지 인계 조건에 따른 하류 불확실성 회복 가능성을 비교합니다:
  1. 답변 전용 (Answer-only): 표준 인터페이스 (최종 답변만 전달).
  2. 스칼라 점수 (Scalar Score): 최종 답변 + 스칼라 불확실성 점수.
  3. 텍스트 불확실성 (Textual Uncertainty): 최종 답변 + 자연어 형태의 불확실성 설명.
  4. 잠재적 불확실성 (Latent Uncertainty): 최종 답변 + 상류 은닉 상태로부터 유도된 매개체 (경량 선형/MLP 분류기를 통해 프로빙됨).

3. 주요 결과

실험적 관찰 결과는 표준 인터페이스가 상류의 불확실성을 지워버린다는 가설과 잠재적 불확실성이 더 우수한 매개체라는 가설을 뒷받침합니다:

1. 난이도 레이블의 불충분함: HotpotQA의 난이도 레이블(Easy/Medium/Hard)은 모델의 불확실성을 명확히 예측하지 못합니다. 의미론적 클러스터 분포가 난이도 수준 간에 크게 중첩되는데, 이는 불확실성이 단순히 과업의 난이도가 아니라 모델 고유의 특성이며 도구 사용 과정(예: 쿼리 생성, 증거 확보 범위)에 의존함을 나타냅니다.
2. 은닉 상태에 포함된 회복 가능한 불확실성: 은닉 상태(특히 트랜스포머 레이어 7, 14, 28)에 대해 학습된 경량 프로브는 강력한 AUROC를 보이며 의미론적 엔트로피 기반의 불확실성 레이블을 복구할 수 있습니다. 성능은 모델의 깊이가 깊어질수록 향상되며, 이는 불확실성이 최종 텍스트 출력으로 압축되기 전 은닉 표현에 인코딩되어 있음을 확인시켜 줍니다.
3. 잠재적 불확실성이 다른 매개체보다 우수함: 하류 불측성 탐지 과업에서, 잠재적 불확실성 인계 조건은 AUROC와 정확도 모두에서 Answer-only, Scalar Score, Textual Uncertainty 조건을 유의미하게 능가했습니다.
   • Answer-only AUROC: ~0.618
   • Scalar Score AUROC: ~0.667
   • Textual Uncertainty AUROC: ~0.785
   • Latent Uncertainty AUROC: ~0.874
     이는 확정된 텍스트 산출물과 압축된 주석이 상류의 취약성에 대한 근원과 구조에 관한 중요한 정보를 손실하며, 잠재적 표현이 이를 보존한다는 것을 시사합니다.

4. 기여도

본 논문은 네 가지 주요 기여를 합니다:

1. 불확실성 전파의 재정의: 불확실성을 단계별 추정의 문제가 아닌 인터페이스 문제로 재정의하여, 인터페이스가 확정된 산출물만을 노출할 때 불확실성 전파가 실패함을 논증했습니다.
2. 실패 모드의 정의: 상류의 취약한 상태가 어떻게 신뢰할 수 있는 하류의 전제로 재포장되는지를 설명하는 불확실한 결정 인계와 신뢰 세탁을 공식적으로 정의했습니다.
3. 잠재적 불확실성 도입: 사전 확정 전의 취약성을 하류에서 사용 가능한 형태로 보존하도록 설계된 표현 수준의 매개체인 잠재적 불확실성을 제안했습니다.
4. 실험적 검증: 표준 인터페이스가 상류의 불확실성을 숨기며, 잠재적 불확실성 매개체가 스칼라 또는 텍스트 신호보다 더 효과적인 하류 복구 동작을 가능하게 한다는 실험적 증거를 제시했습니다.

5. 의의 및 주장

본 논문은 에이전트 시스템이 더욱 견고하고 복구 가능해지려면, 불확실성 전파를 모델 출력의 속성이 아닌 인터페이스의 설계 제약 조건으로 다루어야 한다고 주장합니다.

• 인터페이스 계약: 불확실성은 구성 요소 간의 계약의 일부가 되어야 합니다. 하류 에이전트는 적절한 결정(예: 검증 또는 경로 재설정)을 내리기 위해 산출물이 확신 속에 만들어졌는지, 모호함 속에서 만들어졌는지, 혹은 빈약한 근거로부터 만들어졌는지 알아야 합니다.
• 최종 정확성을 넘어: 에이전트 시스템의 평가는 최종 답변의 정확도와 교정(calibration)을 넘어 나아가야 합니다. 평가는 인계 신뢰도(handoff reliability), 즉 하류 구성 요소가 취약한 상류의 결정을 과도하게 신뢰하지 않고 적절한 복구 동작을 트리거하는지 여부를 평가해야 합니다.
• 복구 가능한 시스템: 에이전트 아키텍처의 목표는 "깨끗한 산출물"을 만드는 것에서, 오류가 연쇄적으로 발생하기 전에 시스템이 의구심을 감지하고 완화할 수 있는 "복구 가능한 시스템"을 구축하는 것으로 전환되어야 합니다.

저자들은 잠재적 불확실성이 스칼라나 텍스트 신호의 보편적인 대체제가 아니며, 특히 확정된 산출물만으로는 복구하기 어려운 취약성이 하류 동작에 영향을 미칠 때 매우 유용하다는 점을 언급하며 겸허한 태도를 유지합니다. 또한 모델 내부 구조에 대한 접근 권한과 이질적인 구성 요소 간의 호환성 같은 실무적 제약 조건도 인정하고 있습니다.