기술 요약: 다중 에이전트 LLM 숙의에서의 숨겨진 앵커 (Hidden Anchors)

문제 정의

에이전트들이 여러 라운드에 걸쳐 답변을 교환하고 수정하는 다중 에이전트 대규모 언어 모델(LLM) 숙의(deliberation)는 추론과 정확도를 높이기 위해 점점 더 많이 사용되고 있다. 그러나 이러한 개선을 이끄는 근저의 메커니즘은 여전히 모델링되지 않은 채 남아 있다. 기존 문헌들은 숙의를 성능을 실증적으로 향상시키지만 그 '어떻게' 또는 '왜'를 설명하지 못하는 "블랙박스"로 취급한다.

DeGroot, Hegselmann–Krause, Friedkin–Johnsen과 같은 고전적인 의견 역학(opinion-dynamics) 모델은 다중 에이전트 시스템을 개루프(open-loop) 동적 시스템으로 취급한다. 이러한 선형 합의 규칙의 근본적인 한계는 **볼록 껍질 경계(convex-hull bound)**이다. 즉, 이 모델들은 어떤 라운드에서든 에이전트의 의견이 그룹의 초기 신념들의 볼록 껍질 내에 머물러야 한다고 규정한다.

저자들은 실제 LLM 숙의에서 나타나는 실증적 이상 현상을 관찰했다: 정답(gold) 클래스의 확률이 종종 어떤 에이전트가 가졌던 초기 확률의 최댓값보다 엄격하게 높아지는 현상이 발생한다. 이러한 초기 볼록 껍질로부터의 "탈출(escape)"은 고전적인 개루프 모델의 보장 사항을 위반하며, 이는 기존 프레임워크로는 포착할 수 없는 숨겨진 구동력이 존재함을 시사한다.

방법론

1. 숨겨진 앵커 모델 (The Hidden-Anchor Model)

저자들은 다중 에이전트 LLM 숙의를 폐루프(closed-loop) 동적 시스템으로 모델링할 것을 제안한다. 그들은 각 에이전트가 이웃의 입력과 관계없이 에이전트의 의견을 지속적으로 끌어당기는 제어 신호 역할을 하는 숨겨진 내부 신념(앵커, $b_i$로 표기)을 가지고 있다고 가설을 세웠다.

라운드 $k$에서 에이전트 $i$의 업데이트 규칙은 다음과 같이 정의된다:
$$x_i(k+1) = x_i(k) - \alpha \sum_{j \in N_i} A_{ij}(x_i(k) - x_j(k)) - \beta_i(x_i(k) - b_i)$$

여기서:

• 첫 번째 항은 이웃의 의견에 기반한 합의 인력(consensus pull) (스케일링된 DeGroot 단계)을 나타낸다.
• 두 번째 항은 에이전트의 잠재적 사전 신념 $b_i$에 대한 지속적인 인력인 **앵커 인력(anchor pull)**을 나타낸다.
• $\alpha$는 공유된 합의 이득(consensus gain)이며, $\beta_i$는 에이전트별 앵커 이득(anchor gain)이다.

이 공식은 다음과 같이 클래식 모델들을 엄격하게 일반화한다:

• $\beta_i = 0$이면 DeGroot 모델을 복구한다.
• $b_i = x_i(0)$ (관찰된 초기 의견)이면 Friedkin–Johnsen 모델을 복구한다.

2. 시스템 식별 및 검증

저자들은 모델을 검증하기 위해 시스템 식별 접근 방식을 채택했다:

• 파라미터 복구: 저자들은 업데이트 규칙을 파라미터 $\theta = (\alpha, \{\beta_i\}, \{\gamma_i\})$에 대해 선형이 되도록 재매개변수화하였다 (여기서 $\gamma_i = \beta_i b_i$). 관찰된 궤적에 대해 최소제곱법(ordinary least squares)을 사용하여 $\hat{\alpha}$, $\hat{\beta}_i$, $\hat{\gamma}_i$를 복구한다. 이후 숨겨진 앵커는 $\hat{b}_i = \hat{\gamma}_i / \hat{\beta}_i$로 복구되며 확률 심플렉스(probability simplex)로 투영된다.
• 홀드아웃 검증을 통한 모델 선택: 결정적으로, 저자들은 단순히 인샘플 적합도(in-sample fit)에만 의존하지 않는다. 그들은 리브-원-시드-아웃(leave-one-seed-out) 프로토콜을 사용한다. 파라미터는 일부 숙의 실행(seeds)에 대해 피팅되며, 홀드아웃된 시드에서 테스트된다. 이는 복구된 앵커가 진정한 의미에서 전이 가능한(transferable) 모델의 속성인지, 아니면 단순한 과적합(overfitting) 산물인지를 판별하는 테스트 역할을 한다.

3. 실험 설정

• 모델: 세 가지 오픈 웨이트 지시 미세 조정(instruction-tuned) LLM: Llama-3.1-70B-Instruct, Qwen3-32B, gpt-oss-20b.
• 태스크: 증상-질병 진단 (주어진 증상 집합에 대해 후보 질병의 순위를 매기는 작업).
• 프로토콜: $n=3$명의 에이전트와 $K=5$ 라운드의 숙의를 갖는 유향 링(directed ring) 토폴로지.
• 데이터: 10개의 서로 다른 타겟 질병, 문제당 3개의 무작위 시드, 총 90개의 숙의 궤적.

주요 결과

1. 모델 패밀리 간의 궤적 발산

숙의의 동작은 모델 패밀리에 따라 균일하지 않다:

• Llama-3.1-70B: 정답 클래스 확률이 초기 의견 범위를 크게 초과하는 급격하고 비단조적인(non-monotone) 변동을 보인다.
• Qwen3-32B 및 gpt-oss-20b: 정답 클래스 좌표가 거의 움직이지 않는 평탄한 궤적을 보이며, 종종 선형 볼록 업데이트로 잘 설명된다.

2. 모델 선택 및 일반화

홀드아웃 검증은 "앵커" 동작의 스펙트럼을 드러낸다:

• Llama-3.1-70B: 전체 숨겨진 앵커 모델이 홀드아웃 데이터에서 선형 베이스라인보다 성능이 현저히 우수하다 (평균 $R^2 = 0.44$ vs. 베이스라인 $\approx 0.05$). 잠재적 앵커는 진정한 전이 가능한 속성이다.
• Qwen3-32B: 전체 모델이 70%의 그룹에서 선택되지만, 홀드아웃 데이터에서 베이스라인 대비 개선 효과가 미미하다 ($R^2 = 0.08$ vs. $\approx 0.10$). 이는 앵커 신호가 약함을 시사한다.
• gpt-oss-20b: 선형 베이스라인(특히 Friedkin–Johnsen)이 전체 모델보다 성능이 뛰어나다 (전체 모델의 평균 $R^2 = -0.94$). 숨겨진 앵커는 예측 가치를 더하지 못하며, 이는 이 모델의 숙의가 사실상 선형 합의를 따른다는 것을 나타낸다.

3. "탈출"에 대한 기하학적 설명

저자들은 복구된 앵커의 위치가 초기 의견과 비교하여 어떻게 배치되는지에 따라 "탈출"이 기하학적으로 결정됨을 확인했다:

• Llama의 경우, 복구된 앵커는 초기 의견 밴드 외부에 멀리 떨어져 있다 (중앙값 마진 0.33). 이는 궤적이 초기 껍질을 벗어나 앵커 껍질($conv\{b_i\}$) 내에 안착하도록 유도한다.
• Qwen 및 gpt-oss의 경우, 복구된 앵커는 초기 밴드와 거의 일치한다 (중앙값 마진 0.10). 앵커가 초기 의견과 일치할 때, 시스템은 Friedkin–Johnsen처럼 동작하며 초기 껍질을 탈출할 수 없다.

4. 파라미터 불확실성

부트스트랩 분석 결과, 합의 이득($\alpha$)은 일관되게 유의미한 반면, 앵커 이득($\beta_i$)은 개별 실행(per-run) 단위에서는 유의미하지 않은 경우가 많다 (신뢰 구간이 0을 포함하는 경우가 46~87%의 에이전트 실행에서 발생). 그러나 Llama의 경우 이 구간의 폭이 더 좁아, 다른 모델에 비해 앵커 복구가 더 안정적임을 보여준다.

의의 및 주장

본 논문은 초기 의견 범위를 벗어나는 "탈출" 현상을 설명할 수 있는, 다중 에이전트 LLM 숙의를 위한 최초의 동적 시스템 모델을 제공한다고 주장한다.

• 메커니즘: 저자들은 LLM 숙의가 초기 의견과는 크게 다를 수 있는 숨겨진 내부 신념(앵커)에 의해 구동되는 폐루프 시스템이라고 주장한다.
• 행동의 스펙트럼: 앵커의 존재와 영향력은 이분법적인 것이 아니라 모델 패밀리 전반에 걸쳐 스펙트럼 상에 존재한다. 이는 특정 모델 아키텍처와 사전 학습의 속성이며, 모든 LLM의 보편적인 특징은 아니다.
• 검증: 본 연구는 시스템 식별과 홀드아웃 검증을 결합하면, 잠재적 앵커에 의해 진정으로 구동되는 모델과 단순히 선형 합의 역학을 따르는 모델을 구분할 수 있음을 입증한다.
• 한계: 저자들은 "숨겨된 앵커"가 추론된 잠재량(latent quantity)이지 측정된 내부 표현(internal representation)이 아님을 명시한다. 긍정적인 결과는 단일 모델 패밀리(Llama-3.1-70B)와 특정 벤치마크에서 가장 강력하게 나타나며, 껍질 탈출 현상은 최종 답변의 정확도와는 별개의 문제이다 (가장 역동적인 모델이 가장 정확도가 낮았다).

결론적으로, 이 논문은 다중 에이전트 숙의를 이해하기 위해서는 개루프 합의 모델을 넘어, 에이전트가 초기 진술된 의견과 다를 수 있는 내부의 숨겨진 사전 신념에 의해 끌려가는 폐루프 시스템으로 나아가야 한다고 제언한다.