기술 요약: 잠재적 논쟁(Latent Debate): LLM의 사고 과정을 해석하기 위한 대리 프레임워크

1. 문제 정의

대규모 언어 모델(LLM)은 상당한 추론 능력을 보여주지만, 사용자 프롬프트나 확립된 세계 지식과 모순되는 출력을 생성하는 환각(hallucination) 현상에 취약합니다. 이 문제를 완화하기 위한 주요 과제는 LLM의 불투명성입니다. 즉, 내부의 "사고" 과정은 해석하기 어렵기 때문에, 왜 특정 예측이 이루어지는지 또는 왜 실패하는지를 이해하기가 어렵습니다. 최근 연구들이 기계적 해석 가능성(활성화, 어텐션 패턴)이나 외부 일관성(다중 에이전트 토론)을 탐구해 왔으나, 단일 모델 내에서 단일 추론 단계 동안 발생하는 내부적 의견 불일치와 논쟁 역학을 모델링하는 프레임워크는 부족한 실정입니다.

2. 방법론

2.1. 개념적 프레임워크: 잠재적 논쟁 (Latent Debate)

저자들은 내부적인 논쟁적 역동성을 통해 모델의 예측을 해석하기 위해 설계된 구조화된 대리 프레임워크인 **잠재적 논쟁(Latent Debate)**을 제안합니다. 외부에서 별개의 에이전트들이 논쟁하는 전통적인 다중 에이전트 토론(MAD)과 달리, 잠재적 논쟁은 단일 모델의 레이어 내에서 발생하는 숨겨진 지지 및 공격 신호를 포착합니다. 이 프레임워크는 세 가지의 추상적이고 모델 불가지론적인 구성 요소로 이루어집니다:

1. 잠재적 논증 (Latent Arguments): 클레임(claim)에 대해 암묵적으로 지지하거나 공격하는 의견을 전달하는 내부 신호(예: 은닉 상태).
2. 논증 해석기 (Argument Interpreter): 이러한 잠재적 신호를 인간이 읽을 수 있는 입장(지지/공격)으로 변환하고 그 강도를 정량화하는 메커니즘.
3. 사고 모듈 (Thinking Module): 해석된 논증들을 종합하여 최종 결정에 도달함으로써 모델의 내부 의사결정 과정을 시뮬레이션하는 구성 요소.

2.2. LLM을 위한 기호적 인스턴스화 (Symbolic Instantiation)

본 논문은 디코더 기반 LLM을 사용하여 참/거짓(True/False) 예측 작업에 이 프레임워크를 인스스턴스화합니다. 구체적인 구현 방식은 다음과 같습니다:

• 잠재적 논증: 각 레이어 $l$(최종 출력 레이어 제외)에서의 토큰 은닉 상태($h^{(l)}_n$)를 논증으로 취급합니다.
• 논증 해석기: 언임베딩 행렬($W_{unemb}$)은 은닉 상태를 어휘 공간으로 투영합니다. 특정 토큰(예: "True" 대 "False")의 확률은 논증의 입장과 강도를 정량화합니다.
• 사고 모듈: 논증을 종합하기 위해 **양적 양극 논쟁 프레임워크(Quantitative Bipolar Argumentation Framework, QBAF)**가 채택됩니다.
  • 그래프 구축: 노드는 논증(특정 레이어의 토큰)을 나타냅니다. 엣지는 관계를 나타내며, "지지" 엣지(+)는 동일한 극성을 가진 논증들을 연결하고, "공격" 엣지(-)는 반대되는 극성을 가진 논증들을 연결합니다.
  • 점진적 의미론 (Gradual Semantics): 프레임워크는 최종 논증 강도($\sigma$)를 계산하기 위해 커스로 제작된 점진적 의미론을 사용합니다. 이는 공격자의 영향력과 지지자의 영향력을 종합하고, 토큰별 가중치와 결합된 하이퍼볼릭 탄젠트 함수를 사용하여 초기 강도($\tau$)를 업데이트하는 과정을 포함합니다.
  • 토큰별 가중치: 크로스 인코더(cross-encoder)를 통해 측정된 텍스트의 의미적 유사성을 얼마나 변화시키는지에 따라 토큰에 중요도 점수가 할당됩니다.

2.3. 환각 탐지

환각을 탐지하기 위해 저자들은 구축된 QBAF 그래프로부터 다음과 같은 특징들을 추출합니다:

• 공격의 횟수 (상충하는 논증).
• 초기 및 최종 논증 강도의 평균 및 분산.
  이러한 특징들은 모델 깊이(하위, 중간, 상위 레이어)별로 계층화됩니다. 단순 트리 기반 분류기(XGBoost)가 이 특징들을 학습하여 환각된 출력과 그렇지 않은 출력을 구분합니다.

3. 주요 기여

1. 잠재적 논쟁 프레임워크: 외부의 다중 에이전트 토론에서 내부의 단일 모델 역학으로 초점을 전환하여, LLM의 사고 과정을 해석하기 위해 내부 논증을 활용하는 새로운 모델 불가지론적 프레임워크를 도입했습니다.
2. 충실한 대리 모델 (Faithful Surrogate Model): LLM의 참/거짓 작업을 위한 기호적 인스턴스화를 제시하여 투명한 대리 모델 역할을 수행합니다. 실험 결과, 이 대리 모델은 원본 모델의 예측과 높은 일관성(LLaMA-13B의 경우 최대 97.11%)을 보였으며, 이는 모델의 결정 과정을 모방하는 능력을 입증합니다.
3. 환각 탐지 베이스라인: 내부 논쟁 그래프에서 추출된 특징을 활용한 환각 탐지 접근법을 개발했습니다. 본 연구는 특정 논쟁 패턴, 특히 네트워크의 중간 레이어에서 발생하는 높은 수준의 잠재적 논쟁(갈등)이 환각의 강력한 예측 인자임을 식별했습니다.

4. 실험 결과

• 대리 모델 충실도 (Surrogate Fidelity): 잠재적 논쟁 대리 모델은 여섯 가지 데이터셋(Common Claims, CounterFact, Company, TriviaQA, MuSiQue, TruthfulQA)과 세 가지 모델 크기(Llama-8B, Mistral-7B, Llama-13B)에 대해 구조화된 베이스라인 대리 모델(Random, Average, Majority Voting) 및 변형된 논쟁 프레임워크(토큰 가중치가 없거나 이차 연결을 사용하는 경우)를 유의미하게 능가했습니다. Llama-13B의 경우, 잠재적 논쟁은 가장 우수한 비논쟁 베이스라인인 90.97%와 비교하여 평균 **97.11%**의 일관성을 달이트했습니다.
• 환각 탐지: 내부 논쟁 그래프에서 추출된 특징을 사용하는 잠재적 논쟁 탐지기는 환각을 탐지하는 데 있어 경쟁력 있는 성능을 보였습니다. 이 모델은 여러 데이터셋에서 SelfCheckGPT 및 SAPLMA와 같은 특징 격리 방법 및 베이스라인보다 뛰어난 성능을 보이며 평균 AUROC 0.82를 달성했습니다.
• 해석 가능성: SHAP 기여도 점수 분석 결과, 중간 레이어에서의 잠재적 논쟁 횟수가 환각의 가장 강력한 예측 인자로 나타났습니다. 이는 중간 처리 단계에서의 내부적 불일치가 사실적 오류와 상관관계가 있음을 시사합니다.

5. 의의 및 주장

본 논문은 잠재적 논쟁을 LLM의 내부 메커니즘, 특히 추론 중에 내부적 (불)일치가 발생하는 시나리오를 이해하기 위한 잠재적 프레임워크로 위치시킵니다. 저자들은 자신들의 목표가 모델 능력의 향상(예: 사실성 강화)이 아니라 해석 가능성임을 강조합니다. 이 프레임워크는 내부의 지지 및 공격 논증을 시각화함으로써 블랙박스 결정 과정을 투명하게 만드는 "충실한 구조적 대리 모델"을 제공합니다. 연구 결과는 환각이 단순히 무작위적인 오류가 아니라, 모델 아키텍처 내의 특정하고 탐지 가능한 패턴의 내부 갈등과 연결되어 있음을 시사합니다.