🤖 AI

When and How Human Curation Backfires: Preference Alignment under Multi-Model Self-Consuming Loop

본 논문은 인간 큐레이션이 고립된 자기 소비 모델에서는 정렬을 개선하지만, 이 패러다임을 다중 모델 시스템으로 확장할 경우 모델 간 상호작용을 통해 큐레이션 효과가 약화되거나 역전되어 궁극적으로 장기적 정렬을 저하시킬 수 있음을 밝힌다.

원저자: Yang Zhang, Xiukun Wei, Xueru Zhang

게시일 2026-05-29

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yang Zhang, Xiukun Wei, Xueru Zhang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

분주한 도시를 상상해 보세요. 공장 A와 공장 B라는 두 가지 서로 다른 유형의 공장이 끊임없이 자사 제품을 개선하려고 노력하고 있습니다.

과거에는 이러한 공장들이 실제 데이터(인간이 작성한 기사나 실제 사진과 같은 지구에서 채굴된 원자재)로부터만 학습했습니다. 하지만 최근에는 더 저렴하고 새로운 방법이 인기를 끌고 있습니다: 합성 데이터입니다. 새로운 원자재를 채굴하는 대신, 공장들은 차세대 제품을 만들기 위해 자사 완성품을 원자재로 사용하기 시작했습니다.

이로 인해 '자기 소비 루프'가 발생합니다. 공장 A는 제품을 만들고, 이를 이용해 스스로를 훈련시키고, 더 나은 제품을 만들어 내며 이 과정을 반복합니다. 공장 B도 마찬가지입니다.

문제: '에코 챔버' 효과

해당 논문은 공장이 오직 재활용된 제품만을 이용해 학습할 경우 문제가 발생하기 시작한다고 설명합니다. 시간이 지남에 따라 제품들은 더 나빠지거나, 흐려지거나, 편향됩니다. 이는 복사기가 복사한 것을 다시 복사하는 것과 같아, 결국 이미지가 알아볼 수 없게 되는 것과 같습니다. 이를 모델 붕괴라고 합니다.

제안된 해결책: '인간 편집자'

이 붕괴를 막기 위해 연구자들은 루프 안에 인간 편집자를 추가할 것을 제안했습니다. 공장이 재활용된 제품을 학습 데이터로 사용하기 전에, 인간이 이를 검토하여 '좋은' 제품들만 선별합니다.

단일 공장의 경우: 이는 매우 효과적입니다! 인간 편집자는 공장이 사람들이 실제로 좋아하는 것을 만들도록 이끕니다.
논문의 발견: 저자들은 "만약 공장 A와 공장 B가 서로 대화한다면 어떻게 될까?"라고 질문했습니다.

실제 세계에서는 공장들이 고립되어 작동하지 않습니다. 공장 A는 훈련을 위해 공장 B가 만든 제품을 사용할 수 있고, 그 반대도 마찬가지입니다. 이것이 다중 모델 생태계입니다.

큰 놀라움: 편집자가 역효과를 낼 때

해당 논문의 주요 발견은 충격적입니다: 연결된 시스템에서는 인간 편집자를 더 많이 추가한다고 해서 항상 도움이 되는 것은 아닙니다. 때로는 상황을 더 악화시킵니다.

이것이 어떻게 발생하는지에 대한 비유는 다음과 같습니다:

상충되는 선호도: 공장 A는 빨간색 제품을 사랑하고, 공장 B는 파란색 제품을 사랑한다고 상상해 보세요.
교차 수분: 공장 A는 공장 B의 파란색 제품을 이용해 스스로를 훈련하기 시작합니다.
편집자의 실수: 공장 A의 인간 편집자는 빨간색과 파란색 제품이 섞인 것을 보고 자신의 취향에 따라 '최고'인 것들을 선택합니다.
역효과: 공장 A가 공장 B의 파란색 제품에서 학습하고 있기 때문에, '최고'인 파란색 제품들은 실제로 공장 A가 빨간색 제품을 만드는 능력을 해치는 방향으로 공장 A의 내부 논리를 밀어붙일 수 있습니다.
- 편집자는 '최고'의 데이터를 선별함으로써 도움을 준다고 생각합니다.
- 하지만 두 공장 간의 복잡한 연결 때문에, 그 '최고'인 데이터는 실제로 공장 A를 혼란스럽게 만듭니다.
- 결과: 편집자가 데이터를 큐레이션하려고 할수록, 공장 A는 사용자가 실제로 원하는 것을 만드는 것에서 더 멀어집니다.

'민감도' 비유

해당 논문은 이를 설명하기 위해 민감도 행렬이라는 개념을 사용합니다. 두 공장을 트램펄린 위에 서 있는 두 사람으로 생각해 보세요.

공장 A를 밀면 (데이터를 큐레이션하면), 공장 A는 위로 튀어 오릅니다.
하지만 그들이 같은 트램펄린 위에 있기 때문에, 공장 A의 튀어 오름은 공장 B를 아래로 누릅니다.
공장 B는 다시 위로 튀어 오르며 다른 각도에서 공장 A를 때립니다.
논문은 이러한 '튀어 오름'이 증폭되거나, 상쇄되거나, 심지어 원래의 밀어냄을 반전시킬 수 있음을 보여줍니다. 공장 A를 북쪽으로 가도록 밀었을지라도, 트램펄린의 역학은 이를 남쪽으로 밀어낼 수 있습니다.

논문에서 얻은 주요 교훈

고립 vs 연결: 고립된 단일 공장에서는 인간 큐레이션이 항상 제품을 개선합니다. 하지만 상호작용하는 공장들의 연결된 생태계에서는 인간 큐레이션이 비단조적인 효과를 가질 수 있습니다 (즉, 큐레이션이 많다고 해서 결과가 더 좋아지는 것은 아니며, 오히려 나빠질 수 있음).
선호도 영역 불일치: 때로는 공장 A가 학습하는 데이터 (파란색 제품) 와 고객이 실제로 보고 싶어 하는 것 (빨간색 제품) 이 완전히 다를 수 있습니다. 인간 편집자가 '최고'인 파란색 제품을 선택하더라도, 공장 A가 더 나은 빨간색 제품을 만드는 데는 도움이 되지 않습니다. 학습 데이터가 현실 세계의 목표와 일치하지 않기 때문에 노력이 낭비되거나 해로울 수 있습니다.
안정성: 논문은 실제 데이터(신선한 원자재) 를 충분히 혼합해 두면 시스템이 안정적으로 유지되고 붕괴하지 않는다고 증명합니다. 하지만 복잡한 상호작용의 그물망에서 재활용 데이터와 인간 큐레이션에 지나치게 의존하면 시스템은 불안정해지고 열화될 수 있습니다.

요약

해당 논문은 AI 모델들이 다른 AI 모델들이 생성한 데이터로 학습을 시작함에 따라, 우리는 단순히 '인간 검토'가 모든 것을 해결할 것이라고 가정할 수 없다고 경고합니다. 상호작용하는 모델들의 복잡한 네트워크에서는 인간 큐레이션이 우연히 시스템을 잘못된 방향으로 이끄는 결과를 초래할 수 있으며, 이는 AI 를 인간의 선호도와 일치시키려고 노력할수록 오히려 일치도가 낮아지는 상황을 만들어냅니다.

기술적 요약: 인간 큐레이션이 역효과를 내는 시기와 방법

문제 제기

기초 모델들이 이전 모델 반복 단계에서 생성된 합성 데이터로 훈련되는 "자기 소모" 루프가 점점 더 일반화되고 있습니다. 최근 연구는 이러한 루프에 인간 큐레이션을 통합하면 모델이 인간과 정렬된 행동을 향해 유도될 수 있음을 시사하지만, 기존 분석들은 대부분 고립된 단일 모델 설정에 초점을 맞추고 있습니다. 실제로 데이터 생태계는 본질적으로 다중 모델적입니다: 모델들이 상호작용하며, 그 출력은 다른 모델을 훈련시키는 데 재사용됩니다 (예: 텍스트-이미지 및 이미지-텍스트 모델이 서로에게 피드백하거나, 한 모델의 출력이 다른 모델의 훈련 데이터가 되는 지시 튜닝 파이프라인).

이 논문은 다음과 같은 중요한 이해의 공백을 다룹니다: 다중 모델 자기 소모 생태계에서 인간 큐레이션은 선호도 정렬에 어떤 영향을 미치는가? 구체적으로, 한 모델에 대한 인간 큐레이션된 합성 데이터의 비율을 늘리는 것이 해당 모델과 더 넓은 시스템의 정렬을 일관되게 개선하는지, 아니면 모델 간 상호작용이 이러한 효과를 왜곡, 감쇠, 또는 심지어 반전시킬 수 있는지 조사합니다.

방법론

저자들은 상호작용하는 자기 소모 모델에 대한 이론적 프레임워크를 공식화하고, 최적화 이론과 수행적 예측 (performative prediction) 도구를 사용하여 시스템의 동역학을 분석합니다.

1. 프레임워크 공식화

이 연구는 각 모델이 다음 세 가지의 혼합물로 반복적으로 업데이트되는 이원 모델 생태계 (모델 $\theta$ 및 $\phi$ ) 를 고려합니다:

실제 데이터 ( $R$ ): 고정된 분포.
자기 소모 합성 데이터 ( $S$ ): 모델 자체 또는 다른 모델에 의해 생성됨.
인간 큐레이션 합성 데이터 ( $H$ ): 인간 선호도로 정제된 합성 샘플 (일반화된 Bradley-Terry 모델 또는 직접 선호도 최적화를 통해 모델링됨).

각 모델의 $t+1$ 라운드 훈련 데이터 분포는 이러한 소스들의 가중 혼합물입니다. 모델들은 이러한 분포 하에서 기대 손실 함수 ( $\ell_\theta, \ell_\phi$ ) 를 최소화하도록 매개변수를 업데이트합니다. 이 프레임워크는 동기 및 비동기 업데이트 체제를 모두 고려합니다.

2. 안정성 및 수렴 분석

저자들은 먼저 다중 모델 시스템이 안정점 $(\theta^*, \phi^*)$ 으로 수렴하는 조건을 확립합니다.

가정: 손실 함수는 강하게 볼록하고 매끄러운 것으로 가정되며, 유도된 데이터 분포는 모델 매개변수에 대해 Lipschitz 연속인 것으로 가정합니다 (분포 민감도).
결과: 각 훈련 라운드에서 실제 데이터의 비율이 충분히 크다면 (임계값 $\tau$ 를 초과한다면), 반복 훈련 루프가 유일한 안정점으로 수렴함을 증명합니다. 이는 단일 모델 수렴 결과를 다중 모델 체제로 확장하여, 실제 데이터가 시스템을 고정하는 한 모델 간 상호작용이 수렴을 방해하지 않음을 보여줍니다.

3. 큐레이션 영향 정량화 (국부 민감도)

수렴이 확립된 후, 논문은 인간 큐레이션이 선호도 정렬에 미치는 장기적 영향을 분석합니다. 평가 분포 하의 기대 보상을 정렬 지표 $J_p(\theta)$ 및 $J_q(\phi)$ 로 정의합니다.

분해: 모델 $\theta$ $θ$ 에 대한 큐레이션 비율 $\lambda_H$ $λ_{H}$ 를 늘리는 영향은 다음과 같이 분해됩니다:
- 자기 영향: 모델 $\theta$ 의 정렬에 대한 직접적 효과.
- 교차 영향: 모델 $\phi$ 의 정렬로 전파된 효과.
수학적 공식화: 암시적 함수 정리와 연쇄 법칙을 사용하여 저자들은 $\frac{\partial J_p}{\partial \lambda_H}$ $\frac{\partial J _{p}}{\partial λ _{H}}$ 및 $\frac{\partial J_q}{\partial \lambda_H}$ $\frac{\partial J _{q}}{\partial λ _{H}}$ 에 대한 미분식을 유도합니다. 이러한 식에는 다음이 포함됩니다:
- 민감도 행렬 ( $S_p, S_q$ ): 결합된 의존성을 고려하여 모델의 안정점이 교란에 어떻게 반응하는지 특성화.
- 교차 모델 영향 행렬 ( $C_p, C_q$ ): 한 모델의 매개변수 이동이 다른 모델로 어떻게 전파되는지 정량화.
- 정렬 방향 ( $\rho$ ): 큐레이션 유도 업데이트 방향과 보상 개선 방향 사이의 코사인 유사도.

4. "역효과"에 대한 이론적 발견

핵심 이론적 기여는 다중 모델 설정에서 인간 큐레이션을 늘린다고 해서 반드시 정렬이 개선되는 것은 아님을 입증한 것입니다.

비단조성: $\rho > 0$ 이라고 가정할 때 큐레이션이 일관되게 정렬을 개선하는 고립된 설정과 달리, 다중 모델 시스템에서는 민감도 행렬 ( $S$ ) 과 교차 영향 행렬 ( $C$ ) 이 업데이트 방향을 왜곡할 수 있습니다.
반전 메커니즘: 큐레이션 방향이 국부적으로 보상과 정렬되어 있더라도 ( $\rho > 0$ ), 결합된 동역학이 효과를 반전시켜 $\frac{\partial J}{\partial \lambda_H} < 0$ 을 초래할 수 있습니다. 이는 모델 간 상호작용이 불일치를 증폭시키거나, "선호도 도메인 불일치 (PDM)"로 인해 한 도메인에서의 훈련이 평가 도메인에서의 성능을 저하시킬 때 발생합니다.
전체적 편차: 논문은 시스템이 안정적으로 유지된다는 전제 하에, 이상적인 실제 데이터 전용 훈련 시나리오에서의 편차가 합성 데이터의 양에 비례하여 선형적으로 증가함을 정량화합니다.

주요 기여

통합 프레임워크: 스타일화된 분포 가정에 의존하지 않고 인간 선호도 피드백을 통합하는 상호작용 자기 소모 모델에 대한 분석적 프레임워크를 공식화했습니다.
수렴 조건: 교차 모델 상호작용에 대한 안정성을 유지하는 데 있어 실제 데이터 비율의 역할을 강조하며, 다중 모델 자기 소모 시스템의 안정성과 수렴을 위한 엄격한 조건을 제시했습니다.
큐레이션 효과 분해: 인간 큐레이션의 장기적 영향을 자기 영향과 교차 영향으로 분해하여 정량화했습니다. 이를 통해 큐레이션이 정렬을 개선하거나 저하시키는 조건을 식별할 수 있습니다.
역효과 조건 식별: 교차 모델 상호작용이 인간 큐레이션의 혜택을 감쇠하거나 반전시켜, 큐레이션이 개선을 의도했음에도 불구하고 장기적 정렬이 저하될 수 있음을 이론적 및 실증적으로 입증했습니다.

실험적 검증

저자들은 세 가지 실험 설정을 통해 이론적 발견을 검증했습니다:

가우시안 모델: 민감도 행렬 왜곡 메커니즘을 검증하기 위해 예제 4.6 을 확장한 제어된 합성 환경. 결과는 $\rho > 0$ 이 양의 큐레이션 효과를 보장하지 않으며, 이론적 미분값이 실증적 관찰과 일치함을 확인했습니다.
CIFAR-10 (비전): 상충되는 선호도 (따뜻한 톤 대 차가운 톤 이미지) 를 가진 두 개의 클래스 조건부 확산 모델. 실험은 교차 모델 데이터 비율이 높을 때 한 모델에 대한 큐레이션을 늘리는 것이 해당 모델과 다른 모델의 정렬을 모두 저하시킬 수 있음을 보여주어 비단조적 행동을 확인했습니다.
Qwen2.5-0.5B (언어): 요약 대 문장 재구성 작업으로 훈련된 모델들. 이 실험은 교차 모델 훈련 입력이 평가 도메인과 불일치하여 목표 보상 지표에 대한 결합 효과를 효과적으로 가리는 **선호도 도메인 불일치 (PDM)**를 강조했습니다.

중요성 및 주장

이 논문은 다중 모델 자기 소모 생태계가 어떻게 진화하고 인간 큐레이션이 이를 어떻게 영향을 미치는지에 대한 메커니즘적이고 분석 가능한 이해를 제공한다고 주장합니다.

이론적 통찰: 복잡하고 상호 연결된 데이터 생태계에서 "더 많은 인간 큐레이션이 항상 더 좋다"는 직관을 도전합니다. 모델 상호작용이 한 모델을 위한 큐레이션이 시스템의 정렬을 실수로 해치는 피드백 루프를 생성할 수 있음을 드러냅니다.
실용적 함의: 이 발견들은 지시 튜닝, 멀티모달 데이터 생성과 같은 다중 모델 파이프라인에서 교차 모델 의존성과 선호도 충돌을 고려하지 않고 단순히 큐레이션 비율을 늘리는 것은 최적화되지 않거나 오히려 정렬이 저하될 수 있음을 시사합니다.
범위: 저자들은 이 작업을 결합된 AI 시스템의 안정성과 정렬을 이해하기 위한 기초적인 단계로 위치시키며, 큐레이션 개입이 생태계 외부성에 의해 중화되거나 반전될 가능성이 있는지 평가하기 위한 국부적 진단 (민감도 행렬을 통해) 을 제공합니다.

이 논문은 현대 대규모 신경망의 비볼록 지형을 완전히 포착하지 못할 수 있는 표준 규칙성 가정 (강한 볼록성, 매끄러움) 에 대한 의존성과 같은 한계를 인정하며 주장을 겸손하게 유지합니다. 또한 이 작업을 비단조적 큐레이션 효과에 대한 "스트레스 테스트"와 존재 증명에 대한 이론적 탐구로 제시합니다.