기술 요약: You Only Align Once (YOAO)

문제 정의

대규모 자율 에이전트의 배포는 독립적인 당사자들이 잠재적으로 상반된 목표를 가진 에이전트를 배포하는 개방형 다중 에이전트 생태계를 창출했습니다. 이러한 분산 시스템에서는 중앙 권한이 모든 참여자의 가중치, 학습 데이터, 또는 보상 함수를 지시할 수 없습니다. 결과적으로, 인구 집단에는 필연적으로 정렬되지 않았거나, 적대적으로 프롬프트된, 또는 목표가 잘못 지정된 에이전트들이 포함됩니다. 최근 증거에 따르면 프롬프트 기반 에이전트들은 협력적 환경에서 어려움을 겪으며, 종종 무임승차 행동을 보여 다중 에이전트 역학을 제로섬 경쟁으로 퇴화시키고, 지역적 이득을 위해 집단적 복지를 희생합니다.

이 연구가 다루는 핵심 과제는 알려지지 않은 동료들과 상호작용할 때 바람직한 집단적 행동 (협력) 을 보장하는 것입니다. 구체적으로, 저자들은 모든 배포된 에이전트를 재학습시킬 필요 없이 자연어 상호작용을 통해서만 정렬된 행동이 전파될 수 있는지 조사합니다.

방법론

이 연구는 정렬된 단일 '시드 (seed)' 에이전트가 상호작용을 통해 훈련되지 않은 에이전트들에게 협력적 행동을 전파하는 '정렬 전파 (Alignment Propagation)'라는 프레임워크를 도입합니다. 방법론은 세 가지 주요 구성 요소를 포함합니다:

1. 환경

저자들은 점진적인 분포 이동 (distribution shift) 을 가진 두 가지 서로 다른 환경에서 정렬 전파를 평가합니다:

• 레드 - 블랙 게임: 두 팀의 5 명씩 에이전트가 방송을 통해 순차적으로 논의하고 10 라운드 동안 다수결 규칙으로 투표하는 팀 기반 반복 죄수의 딜레마입니다. 이 게임은 동일한 보수 행렬을 유지하면서 서사적 맥락을 변화시키는 8 가지 시나리오 프레임 (예: 기후, 팬데믹, AGI 안전) 을 포함합니다.
• 슈가스케이프 (Sugarscape): 20×20 그리드에서 100 명의 에이전트가 수행하는 공간 기반 생존 시뮬레이션입니다. 에이전트들은 생존하기 위해 쌍별 거래를 수행해야 하며, 자원 (설탕과 향신료) 을 관리하고 거래 결과에 따라 '정체성 경향 (Identity Leaning)' (도덕적 성향) 을 진화시킵니다. 이 환경은 방송식 논의에서 지역적, 사적 교환으로의 제로샷 전이 (zero-shot transfer) 를 테스트합니다.

2. 시드 에이전트 학습 파이프라인

저자들은 협력적 시드 에이전트를 만들기 위해 5 단계 파이프라인을 사용합니다:

• 교사 모델 선정: 레드 - 블랙 게임에서 7 개의 LLM 을 사전 평가한 결과 Kimi-K2가 150 점 중 127 점의 복지 점수로 최고 성능 모델로 선정되었습니다.
• 데이터 생성: Kimi-K2 는 5 가지 학습 시나리오에 걸쳐 10 가지 다양한 상대 전략에 대해 10,000 개의 게임을 생성하는 데 사용되었습니다. 메타 프롬프트는 상황 분석, 사회적 인식 (이전 논거 참조), 집단적 복지 프레임, 원칙적 견고성 (착취 후에도 협력), 그리고 보복보다 설득을 우선시하는 것과 같은 특정 속성을 강제했습니다.
• 품질 관리: 필터링 프로세스는 에이전트가 협력을 선택하고 집단적 복지에 관한 원칙적 논리를 제시한 사례를 선별하여, 보복 논리나 순수한 결과 지향적 논리에 기반한 데이터는 제외했습니다. 그 결과 300,000 개의 예제로 구성된 데이터셋이 생성되었습니다.
• 증류 (SFT): 협력적 논리와 설득적 대화는 Low-Rank Adaptation (LoRA) 을 사용하여 Qwen-3-14B모델로 증류되었습니다. 대상 모델은 방법론의 효율성에 대한 엄격한 테스트를 제공하기 위해 특히 낮은 기준선 협력 성능 (150 점 중 25.2 점의 복지) 을 가진 모델로 선택되었습니다.
• 배포: 생성된 '시드' 에이전트는 훈련되지 않은 팀원들 (Qwen-3-14B, LLaMA-3.1-8B, 또는 Mistral-Small-3.1-24B 중 하나) 사이에 배치되어 전파 효과를 관찰했습니다.

3. 평가 지표

주요 지표는 다음과 같습니다:

• 협력률: 팀이 협력을 선택하는 라운드의 비율.
• 집단적 복지: 누적 보수.
• 영향력 변화: 시드와 정렬되도록 투표 내용을 변경한 훈련되지 않은 팀원의 수.
• 거래 성공률 및 생존률: 슈가스케이프에서 쌍별 협상과 자원 관리의 효율성을 측정합니다.

주요 결과

레드 - 블랙 게임의 효율성

• 단일 시드의 영향: 훈련되지 않은 4 명의 에이전트로 구성된 팀에 정렬된 단일 시드 에이전트 (Qwen-3-14B SFT) 를 도입함으로써 분포 외 (OOD) 시나리오에서 협력률이 **24.8% 에서 62.2%**로 두 배 증가했습니다.
• 확장성: 시드 에이전트 수가 증가함에 따라 협력은 단조롭게 증가하여 5 개의 시드로 **95.6%**에 도달했습니다.
• 프롬프팅 대비 우위: SFT 시드는 협력 프롬프트를 장착한 교사 모델 (Kimi-K2) 보다 훈련되지 않은 Qwen-3-14B 와 더 큰 교사 모델 모두를 능가했습니다. 이는 SFT 가 프롬프팅만으로는 복제할 수 없는 특정 심의 기술 (팀원 참여, 반대 의견 재구성) 을 심어준다는 것을 시사합니다.

슈가스케이프로의 제로샷 전이

• 일반화: 레드 - 블랙 게임 데이터로만 훈련되었음에도 불구하고, 시드 에이전트는 슈가스케이프로 강력한 제로샷 전이를 달성했습니다.
• 성능: 슈가스케이프에서 훈련된 에이전트는 동일한 착취 프롬프트 하에서 훈련되지 않은 에이전트의 21.6% 기준선과 비교해 **91.5%**의 거래 성공률을 달성했습니다.
• 하류 효과: 이러한 조정 우위는 생존률 (85% 대 13%) 과 평균 수명 (72.4 대 44.3틱) 으로 이어졌습니다.
• 정체성 변화: 훈련된 에이전트는 협력 쪽으로 정체성 경향을 변화시켰으며 ($\Delta\ell = 0.046$), 훈련되지 않은 에이전트는 정적 상태를 유지했습니다 ($\Delta\ell = 0.002$). 이는 SFT 가 상호작용을 통해 신념을 능동적으로 재형성하는 성향을 심어준다는 것을 나타냅니다.

아키텍처 간 전파

• Qwen-SFT 시드의 협력 능력은 아키텍처적으로 다른 모델들에게 성공적으로 영향을 미쳤습니다. 단일 시드는 LLaMA-3.1-8B의 협력을 약 65% 에서 약 92% 로 높였습니다. Mistral-Small-3.1-24B는 영향을 받기 어려워 85% 이상의 협력을 달성하려면 3 개의 시드가 필요했으나, 결과는 심의 기술이 모델 패밀리 간에 일반화됨을 확인시켜 주었습니다.

메커니즘 분석

• 의미적 설득: '무트 테스트 (Mute tests, 시드를 논리 없이 bare 추천으로만 제한)'는 협력을 기준선 수준으로 붕괴시켰으며, 이는 단순한 존재가 아닌 의미적 설득이 전파를 주도한다는 것을 확인시켜 주었습니다.
• 규범의 지속성: 시드 제거 후 협력은 부분적으로 지속되었습니다 (3 개의 시드로 82.5%). 이는 유도된 규범의 내면화를 시사합니다.
• 토폴로지 의존성: 방송 환경 (레드 - 블랙) 에서 20% 의 시드 비율은 협력을 거의 두 배로 늘리는 데 충분했습니다. 반면 쌍별 환경 (슈가스케이프) 에서는 초기 거절이 영구적인 비관으로 증폭되는 것을 방지하고 조우 확률 병목 현상을 극복하기 위해 더 높은 임계값 (~50%) 이 필요했습니다.

중요성과 주장

이 논문은 다중 에이전트 정렬을 모든 에이전트에 대한 포괄적인 학습 문제로 재정의하지 않고, 전략적 시드 배치를 통해 설계될 수 있는 확장 가능한 사회적 능력으로 재구성합니다.

저자들은 다음과 같이 주장합니다:

1. 정렬 전파는 실현 가능합니다: 단일 정렬된 에이전트가 자연어 상호작용을 통해서만 훈련되지 않은 에이전트들에게 협력적 행동을 전파할 수 있습니다.
2. SFT 는 심의 기술을 심어줍니다: 시드 에이전트의 성공은 단순히 모델 능력 때문이 아니라, 협력적 추론 궤적에 대한 지도형 미세 조정 (SFT) 을 통해 습득된 팀원을 설득하고 상호 유익한 규범을 안정화하는 특정 능력 때문입니다.
3. 제로샷 전이: 한 도메인 (방송식 논의) 에서 학습된 협력적 성향은 추가 학습 없이 근본적으로 다른 역학 (지역적 자원 거래) 으로 전이될 수 있습니다.
4. 설계 시사점: 다중 에이전트 정렬은 모든 참여자를 재학습시킬 필요가 없습니다. 대신 상호작용 토폴로지 (방송 대 쌍별) 와 그룹 크기에 따라 필요한 비율이 결정되는 소수의 정렬된 에이전트를 전략적으로 배치함으로써 달성할 수 있습니다.

이 연구는 협력적 행동을 전략적으로 배치된 소수에서 전파되는 사회적 능력으로 설계할 수 있으며, 개방적이고 이질적인 다중 에이전트 시스템에서 집단적 복지를 보장하는 실용적인 forward path 를 제공한다고 결론지었습니다.