Latent Agents: A Post-Training Procedure for Internalized Multi-Agent Debate

"Latent Agents: A Post-Training Procedure for Internalized Multi-Agent Debate" 논문에 대한 상세한 기술 요약입니다.

1. 문제 제기

다중 에이전트 토론 (MAD) 은 대규모 언어 모델 (LLM) 의 추론 능력, 사실적 정확도 및 환각 저항성을 향상시키는 데 효과임이 입증되었습니다. 그러나 전통적인 MAD 는 다음과 같은 이유로 계산 비용이 많이 들고 비효율적입니다.

• 여러 추론 호출: 여러 개의 별도 LLM 인스턴스를 실행해야 합니다.
• 방대한 대화 기록: 합의에 도달하기 전에 여러 라운드에 걸쳐 긴 대화 기록을 생성해야 합니다.
• 높은 토큰 소비: 이로 인해 상당한 지연 시간과 비용이 발생하여 실시간 또는 리소스가 제한된 애플리케이션에는 비실용적입니다.

핵심적인 과제는 다중 에이전트 토론의 협력적 추론 혜택을 단일 LLM으로 정제하여, 방대한 외부 토론 기록을 생성하지 않고도 내부적 (잠재 공간 내에서) 으로 추론을 수행할 수 있도록 하는 것입니다. 이를 통해 성능은 유지하면서 추론 비용을 극적으로 줄이는 것이 목표입니다.

2. 방법론: 내재화된 다중 에이전트 토론 (IMAD)

저자들은 토론 과정을 내재화하도록 설계된 2 단계 미세 조정 파이프라인인 IMAD를 제안합니다. 이 프레임워크는 세 가지 주요 단계로 구성됩니다.

A. 데이터셋 구성

• 출처: GPT-3.5-turbo 를 사용하여 944 개의 토론 흔적 (traces) 데이터셋을 생성했습니다.
• 작업: 복잡한 도메인 지식보다는 구조적 학습에 초점을 맞추기 위해 산술 문제 (무작위로 생성된 두 자리 숫자 6 개) 를 선택했습니다.
• 구조: 데이터셋에는 $n=3$개의 에이전트와 $m=2$라운드가 포함됩니다. 중요한 점은 로그에 <|Agent 1|>, <|Round 1|>, <|Consensus|>와 같은 구조 태그를 명시적으로 추가하여 모델에게 토론 형식을 가르친다는 것입니다.
• 필터링: 최종 다수결 합의가 없는 토론은 폐기됩니다.

B. 1 단계: 지도 미세 조정 (SFT) - 구조 학습

• 목표: 단일 LLM 이 다중 에이전트 토론의 형식과 구조를 복제하도록 가르치는 것입니다.
• 과정: 모델은 전체 토론 흔적 (모든 에이전트의 턴과 최종 합의를 포함) 에 대한 표준 자기회귀적 다음 토큰 예측을 통해 훈련됩니다.
• 결과: 모델은 주장을 비판하고 정제하는 "가상 에이전트"의 구조화된 시퀀스를 생성하도록 학습하여, 단일 생성 스트림 내에서 외부 토론 역동성을 효과적으로 모방합니다.

C. 2 단계: 강화 학습 (RL) - 내재화

• 목표: 명시적이고 방대한 토론을 생성하는 것에서 벗어나, 내부적으로 추론을 수행하고 최종 답변만 출력하도록 모델을 전환하는 것입니다.
• 알고리즘: 그룹 상대적 정책 최적화 (GRPO).
• 동적 보상 스케줄링: 보상 함수 $r(x, y)$는 동적 가중치를 가진 두 가지 구성 요소를 결합합니다.
  1. 형식 보상 ($R_{fmt}$): 초기에는 출력이 구조 태그를 포함하면 양의 보상을 받습니다. 가중치 $w_{fmt}$는 훈련 과정에서 감쇠하여 방대한 구조를 출력하려는 동기를 제거합니다.
  2. 길이 클리핑을 포함한 정확도 ($R(y; l)$): 올바른 답변이 길이 $l$의 잘린 접두사 내에 있을 때만 보상이 1 로 부여됩니다. 길이 제한 $l$은 **어닐링 (annealing)**을 거치며, 처음에는 관대하게 설정된 $l_0$에서 시작하여 간결한 답변만 수용할 수 있는 목표 제한 $l^*$으로 축소됩니다.
• 메커니즘: 형식 보상이 사라지고 길이 제한이 축소됨에 따라, 모델은 길이 제약을 위반하지 않으면서 정확도 제약을 충족시키기 위해 SFT 에서 학습한 다중 관점 분석을 내부적으로 (잠재 공간에서) 수행하도록 강제됩니다.

3. 주요 기여

1. IMAD 프레임워크: 다중 에이전트 토론을 단일 LLM 으로 정제하는 새로운 2 단계 파이프라인으로, 명시적 다중 에이전트 토론 대비 최대 93% 적은 토큰으로 경쟁력 있는 성능을 달성합니다.
2. 메커니즘 발견 (에이전트 부분 공간): 활성화 제어 분석을 통해 저자들은 IMAD 모델이 단일 추론 모드로 수렴하지 않음을 입증했습니다. 대신 활성화 공간 내에서 구별 가능하고 선형적으로 분리 가능한 에이전트 부분 공간을 개발합니다. 이러한 부분 공간은 특정 에이전트 관점 (예: 사고의 사슬, 자기 비판, 사고의 프로그램) 에 해당합니다.
3. 제어 가능한 안전성 (Steering): 이 논문은 이러한 내재화된 에이전트 부분 공간이 제어 가능함을 보여줍니다. 훈련 중에 "악의적인" 에이전트를 주입한 후 **부정적 제어 (negative steering, 악의적 에이전트의 제어 벡터 차감)**를 적용함으로써, 기본 모델을 제어하는 것보다 해로운 특성 (예: 악의적 의도, 환각) 을 더 효과적으로 억제할 수 있으며, 일반 작업 성능 저하도 적습니다.

4. 실험 결과

저자들은 LLaMA-3.1 8B, Qwen 2.5 7B, Mistral Nemo 12B 를 사용하여 IMAD 를 GSM8K(수학), MMLU-Pro(다중 도메인 지식), Big-Bench Hard(논리적 추론) 의 세 가지 벤치마크에서 평가했습니다.

• 성능 대비 효율성:
  • IMAD 는 모든 모델과 벤치마크에서 명시적 다중 에이전트 토론 (Debate) 의 정확도와 일치하거나 이를 초과합니다.
  • 토큰 감소: IMAD 는 명시적 토론이 필요로 하는 토큰의 **6.3% 에서 21.1%**만 사용합니다 (5~16 배의 효율성 향상).
  • 일반화: 산술 문제만으로 훈련되었음에도 불구하고 IMAD 는 복잡한 추론 작업 (MMLU-Pro, BBH) 과 개방형 요약 작업에 잘 일반화됩니다.
• 에이전트 부분 공간 분석:
  • **대조적 활성화 추가 (CAA)**를 사용하여 특정 에이전트 페르소나에 대한 제어 벡터를 추출했습니다.
  • 신뢰성: 제어된 IMAD 모델은 제어된 기본 모델에 비해 목표 에이전트 페르소나와 훨씬 높은 정렬성 (ROUGE 점수) 을 보였습니다 (AUC 에서 평균 15.41% 향상).
  • 이는 협력적 구조가 식별 가능한 잠재 표현으로 보존됨을 확인시켜 줍니다.
• 악의적 에이전트 제어:
  • 악의적 에이전트와 함께 훈련되었을 때, IMAD 모델은 부정적 제어를 통해 "악" 특성을 거의 완전히 억제 (점수가 ~0 으로 하락) 할 수 있었으나, 기본 모델은 잔류 악의적 행동을 유지했습니다.
  • 안정성: IMAD 모델은 극단적인 제어 계수 하에서도 높은 작업 성능 (GSM8K 정확도) 과 낮은 퍼플렉시티를 유지한 반면, 기본 모델은 성능 붕괴와 비일관성을 겪었습니다.

5. 중요성과 함의

• 효율성: IMAD 는 다중 에이전트 시스템의 높은 비용에 대한 실용적인 해결책을 제공하여, 단일 모델 지연 시간으로 생산 환경에서 토론과 유사한 추론을 배포할 수 있게 합니다.
• 해석 가능성: 에이전트 부분 공간의 발견은 LLM 이 복잡한 추론을 내재화하는 방식에 대한 새로운 메커니즘적 이해를 제공합니다. 이는 "내부 토론"이 단순한 블랙박스 최적화가 아니라, 구별 가능하고 제어 가능한 추론 관점의 보존을 수반함을 시사합니다.
• 안전성과 제어: 활성화 제어를 통해 특정 행동 특성 (환각 또는 악의적 의도 등) 을 분리하고 억제할 수 있는 능력은 LLM 안전을 위한 유망한 새로운 길을 제시합니다. 이는 구조화된 다중 에이전트 훈련이 표준 훈련보다 더 모듈화되고 제어 가능한 표현을 생성하여, 모델의 일반 능력을 손상시키지 않으면서 해로운 행동을 "외과 수술적"으로 제거할 수 있음을 시사합니다.

결론적으로, 이 논문은 다중 에이전트 추론 능력을 단일 모델의 잠재 공간으로 성공적으로 정제하여 협력의 혜택을 보존하면서도 효율적인 추론과 세분화된 행동 제어를 가능하게 함을 입증합니다.