💬 NLP

Post-Training Recipe, More Than Model Family, Shapes Multi-Agent LLM Conversational Behavior

이 논문은 상호작용하는 다중 LLM 시스템에서 사후 학습 레시피가 모델 계열 레이블보다 헤징(hedging)과 같은 대화 행동에 더 유의미한 영향을 미친다는 점을 입증하며, 이는 다중 에이전트 패널의 다양성이 단순히 서로 다른 계열의 모델을 선택하는 것보다 훈련 방법론을 우선시해야 함을 시사한다.

원저자: Luyang Zhang, Jialu Wang, Fei Xue, Yi-Yun Chu

게시일 2026-06-23

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Luyang Zhang, Jialu Wang, Fei Xue, Yi-Yun Chu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

핵심 아이디어: 단순히 "브랜드 이름"의 문제가 아닙니다

당신이 AI 모델들을 이용해 토론 팀을 구성하려고 한다고 상상해 보세요. 당신은 팀원들이 서로 다른 관점에서 논쟁하고, 서로의 실수를 잡아내며, 모두가 똑같이 생각하는 상황을 방지할 수 있도록 다양한 개성을 갖추길 원합니다.

오랫동안 연구자들은 이러한 다양성을 확보하는 가장 좋은 방법이 서로 다른 "가문(family)"에서 모델을 뽑는 것이라고 생각했습니다 (예를 들어, Llama 가문에서 하나, Qwen에서 하나, Gemma에서 하나를 고르는 것). 그 논리는 이랬습니다: "브랜드가 다르면 성격도 다를 것이다."

하지만 이 논문은 이렇게 말합니다: "잠깐만요, 그렇지 않습니다."

저자들은 "브랜드 이름(모델 가문)"이 오해의 소지가 있는 라벨이라는 것을 발견했습니다. 모델의 성격과 대화 스타일을 실제로 변화시키는 것은 초기 생성 이후에 **어떻게 훈련되었는가(사후 학습 레시피, post-training recipe)**입니다.

이를 다음과 같이 비유할 수 있습니다:

모델 가문 = 자동차 제조사 (예: 포드)
사후 학습 레시피 = 엔진을 튜닝하거나, 스포일러를 달거나, 서스펜션을 변경하는 특정 커스텀 샵

이 논문에 따르면, "레이싱 샵"에서 커스텀한 포드는 "패밀리 밴 샵"에서 커스텀한 포드와 매우 다르게 행동할 수 있습니다. 비록 둘 다 포드일지라도 말이죠. 사실, 이 두 대의 커스텀 포드는 포드와 토요타 사이의 차이보다 더 다를 수 있습니다.

실험: 거대한 채팅방

이를 증명하기 위해 연구진은 940,000개의 대화 체인이 있는 거대한 가상 포럼을 구축했습니다.

11개의 서로 다른 AI 모델을 사용했습니다.
모델들을 쌍으로 짝을 지어 서로 대화하게 만들었습니다.
AI가 헤징(hedging)(말을 부드럽게 하기 위해 "아마도"나 "제 생각에는" 같은 단어를 사용하는 것)을 하는지, 챌린징(challenging)(반박하는 것)을 하는지, 아니면 리페어링(repairing)(실수를 바로잡는 것)을 하는지 분석했습니다.

그들은 모든 변수를 통제하여 AI의 어조를 변화시키는 정확한 원인을 격리해 낼 수 있도록, 대화를 과학적 실험실처럼 다루었습니다.

주요 결과

1. "파트너"가 생각보다 더 중요합니다

사람이 친구와 대화할 때와 상사와 대화할 때 다르게 행동하는 것처럼, AI 모델도 누구와 대화하느냐에 따라 행동이 달라집니다. 하지만 이 논문은 AI가 파트너와 대화할 때, 설령 같은 가문의 모델이라 할지라도 파트너의 학습 레시피가 다를 경우 가장 큰 변화가 일어난다는 것을 발견했습니다.

2. 진짜 동력은 "레시피"입니다

연구진은 특정 그룹인 Llama-3.1-8B를 테스트했습니다. 이 동일한 베이스 모델에 네 가지 서로 다른 "레시피"(서로 다른 훈련 방식)를 적용했습니다.

결과: 이 네 명의 "쌍둥이"(베이스는 같지만 레시피는 다른 모델들)가 서로 대화할 때, 그들의 행동은 급격히 변화했습니다.
통계: 특정 레시피(이름하여 "추론 증류(Reasoning Distillation)")는 상대방이 어떤 레시피를 가졌느냐에 따라 "헤징" 행동이 **18%**까지 변했습니다.
비교: 이 18%의 변화는 완전히 다른 브랜드 간(예: Llama vs Qwen)에 나타나는 차이보다 더 컸습니다.

비유: 똑같이 생긴 네 쌍둥이가 있다고 상상해 보세요. 한 명에게는 정장을, 한 명에게는 턱시도를, 한 명에게는 광대 옷을, 다른 한 명에게는 소방관 옷을 입혔습니다.

이들에게 연기를 시켜본다면, 이들이 모두 쌍둥이라는 사실보다 **옷(레시피)**이 그들의 행동을 더 많이 바꿉니다.
논문은 "정장을 입은 쌍둥이"와 "광대 옷을 입은 쌍둥이"가 "정장을 입은 쌍둥이"와 다른 가문의 "거인" 사이의 차이보다 더 다르게 행동한다는 것을 발견했습니다.

3. "사고 모드" 스위치

논문은 또한 "런타임 구성(runtime configuration)"(생각 모드를 켜거나 끌 수 있는 스위치 같은 것)도 살펴보았습니다.

연구진은 동일한 모델에서 이 스위치를 켜는 것만으로도 말투가 변한다는 것을 발견했는데, 그 효과는 학습 레시피보다는 약간 작았습니다.
교훈: 단순히 "우리는 Qwen3를 사용한다"라고만 말해서는 안 됩니다. "우리는 '생각 모드'가 켜진 Qwen3를 사용한다"라고 명시해야 합니다. 왜냐하면 그것은 마치 다른 사람처럼 행동하기 때문입니다.

이것이 AI 팀을 구축하는 방식을 어떻게 바꾸는가

이 논문은 만약 당신이 (토론, 심사, 또는 문제 해결을 위한) 다양한 AI 에이전트 팀을 원한다면, 단순히 각 브랜드에서 모델을 하나씩 뽑는 것만으로는 부족하다고 결론짓습니다.

기존 방식: Llama 1개, Qwen 1개, Gemma 1개를 선택함.
- 리스크: 그들이 모두 유사한 "레시피"로 훈련되었기 때문에 예상외로 비슷하게 행동할 위험이 있습니다.
새로운 방식: 세 가지 버전의 Llama를 선택하되, 반드시 서로 다른 학습 레시피(예: 하나는 추론용, 하나는 일반 채팅용, 하나는 엄격한 논리용으로 훈련된 것)를 가진 모델로 구성합니다.
- 이점: 이를 통해 뚜렷한 대화 스타일을 가진 훨씬 더 다양한 팀을 만들 수 있습니다.

결론

"모델 가문"이라는 라벨(Llama나 Qwen 같은 것)은 불완전한 신분증입니다. 그것은 가장 중요한 세부 사항, 즉 모델이 어떻게 튜닝되었고 어떤 설정이 실행 중인지를 숨기고 있습니다.

진정으로 서로 다르게 생각하고 말하는 AI 에이전트를 원한다면, 브랜드 이름을 넘어 **사후 학습 레시피(post-training recipe)**에 주목해야 합니다. 그것은 자동차를 누가 만들었느냐의 문제가 아니라, 엔진을 누가 튜닝했느냐의 문제입니다.

기술 요약: 모델 패밀리 그 이상의 것, 사후 학습 레시피가 멀티 에이전트 LLM 대화 행동을 형성한다

문제 정의
멀리 에이전트 대규모 언어 모델(LLM) 시스템은 모델들이 토론, 판단 또는 조율하는 패널에 점점 더 의존하고 있다. 행동의 다양성을 보장하기 위해 패널을 서로 다른 "패밀리"(예: 하나는 Llama, 하나는 Qwen, 하나는 Gemma)의 모델들로 구성해야 한다는 일반적인 설계 휴리스틱이 존재하며, 이는 패밀리 라벨이 독립적인 대화 행동을 예측한다는 가정에 기반한다. 이 가정은 LLM이 고립된 정적 출력을 평가할 때 집단 내 편향(in-group bias)을 보인다는 기존의 오프라인 연구에서 유래했다. 그러나 "패밀리" 라벨이 상호작용하는 멀리 에이전트 환경에서 모델들이 서로에게 반응할 때도 행동을 예측할 수 있는지는 아직 검증되지 않았다. 본 논문은 관찰된 행동 격차가 진정으로 패밀리 정체성에 의해 발생하는 것인지, 아니면 그 라벨 안에 묶여 있는 더 세밀한 속성, 즉 사후 학습 레시피(post-training recipe)와 런타임 구성(runtime configuration)에 의해 발생하는 것인지에 대해 의문을 제기한다.

방법론
저자들은 행동 변이의 원인을 격리하기 위해 통제된 실험 프레임워크를 구축하였다:

코퍼스: Moltbook 에이전트 포럼 아카이브에서 파생된 940,000개 체인의 2-에이전트 포럼 코퍼스. 본 연구는 또한 레시피 효과를 격리하기 위해 단일 베이스 모델(Llama-3.1-8B)과 네 가지 뚜렷한 사후 학습 레시피를 사용하는 1.6M-체인의 "요인(factorial)" 실험을 포함한다.
행동 지표: 모든 답변은 대화 분석에서 도출된 세 가지 대화적 움직임인 도전(disputing), 수정(correcting), 헤징(hedging, 주장을 완화함)에 대해 점수가 매겨진다.
탐지 및 검증: Zhang 등(2026)으로부터 이식된 어휘 탐지기가 이러한 행동들을 식별한다. 30,000개의 쌍을 이룬 판단에 대한 LLM 판사 주석과의 검증 결과, 헤징만이 실질적인 일치도( $\kappa = 0.70$ , canonical-4 서브셋 기준)를 보이는 유일한 구성 개념임을 확인하였으며, 따라서 이를 주요 헤드라인 지표로 삼는다. 도전과 수정은 낮은 일치도( $\kappa < 0.05$ )로 인해 탐색적 표면 단서 체크로 취급된다.
실험 설계: 다른 변수들을 고정한 상태에서 다음 네 가지 변이 축을 비교한다:
1. 규모(Scale): 동일한 레시피, 다른 파라미터 크기.
2. 런타임(Runtime): 동일한 가중치, 다른 구성 플래그(예: "think-on" vs "think-off").
3. 레시피(Recipe): 동일한 패밀리/베이스, 다른 사후 학습 절차(SFT, DPO, RLVR, Distillation).
4. 패밀리(Family): "canonical-4" 서브셋(각 패밀리당 하나의 7B급 인스트럭션 튜닝 모델)에 대한 교차 패밀리 비교.
통계 분석: 파트너(T1)가 응답자(T2)의 행동에 어떻게 영향을 미치는지 측정하기 위해 per-seed 이진 차이에 대해 Paired McNemar 테스트를 사용한다.

주요 결과

파트너 조건부 행동: LLM은 누구와 대화하느냐에 따라 유의미하게 다르게 행동한다. 보정 후 약 49%의 쌍별 대비가 통계적으로 유의미하다.
레시피가 패밀리를 압도함: 가장 크게 검증된 행동 격차는 서로 다른 패밀리 사이에서 발생하는 것이 아니라, 사후 학습 레시피가 변할 때 단일 모델 패밀리 내부에서 발생한다.
- 동일한 베이스인 Llama-3.1-8B의 요인 실험에서, 추론 증류 체크포인트(R1-Distill)는 파트너가 마찬가지로 R1-Distill인지 혹은 Tülu 변형 모델인지에 따라 헤징 비율을 +18.22% 변화시켰다.
- 이 패밀리 내부의 교차 레시피 격차(18.22%)는 통제된 canonical-4 서브셋에서 관찰된 어떤 두 다른 패밀리 간의 헤징 격차보다 크다.
특정 동인: 추론 증류(Reasoning distillation)가 이러한 변화의 가장 큰 기여자로 식별되었다. 세 가지 서로 다른 레시피를 가진 Llama 변형 모델들로 구성된 패널은, 서로 다른 세 개의 패밀리에서 온 한 모델씩으로 구성된 패널보다 더 높은 표면 대화 다양성(Jensen-Shannon Divergence로 측정)을 보인다.
런타임 효과: 런타임 구성(예: 동일한 가중치에서 "확장된 사고" 토글) 또한 측정 가능한 표면 단서 변화(탐색적 수정에서의 최대 7.85%)를 생성하지만, 검증 강도 측면에서 레시피 효과보다는 부차적이다.
강건성: "패밀리 내부 레시피 변이가 교차 패밀리 변이보다 크다"는 발견은 서로 다른 도구(최종 문단 vs 전체 답변), 페르소나 역할("사려 깊은 회의론자"), 정체성 공개 조건 전반에 걸쳐 유지된다.

의의 및 주장
본 논문은 사후 학습 레시피가 현재 제공자 패밀리 라벨에 밀려 간과되고 있는, 멀티-LLM 패널 구성을 위한 제1순위 축이라고 주장한다.

패밀리 라벨은 불완전한 대리 지표임: 패밀리 다양성(예: Qwen, Llama, Gemma를 혼합)에만 의존하는 것은, 다양한 사후 학습 레시피를 가진 동일 패밀리 모델들로 구성된 패널보다 더 균일한 대화 행동을 가진 패널을 만들 수 있다.
설계 시사점: 대화적 다양성을 목표로 하는 멀리 에이전트 시스템 설계자는, 패밀리 다양성이 행동적 이질성을 보장한다고 가정하기보다, 사후 학습 레시피(예: 표준 SFT 또는 DPO 변형과 함께 추론 증류 체크포인트를 포함하는 것)를 명시적으로 다양화하고 런타임 구성을 추적해야 한다.
범위: 결과는 2-에이전트 교환에서의 표면 단서 진단(헤징, 수정, 도전)에 기초한다. 본 논문은 이러한 다양성 이득이 다운스트림 판단 정확도 향상이나 더 긴 토론 결과로 이어진다는 것을 입증하는 것이 아니라, 후속 연구를 촉발하는 진단적 프레임워크를 제공함을 명시적으로 밝힌다.