💬 NLP

The Fairness Collapse Phenomenon: Bias Amplification in Language Models Trained on Synthetic Data

이 논문은 합성 데이터로 학습된 언어 모델이 표준 언어 모델링 작업에서 성능 저하를 보이기 훨씬 전부터 사회적 편향을 증폭시키고 공정성 지표가 현저히 저하되는 현상인 "공정성 붕괴(fairness collapse)"를 식별하고 입증한다.

원저자: Irina Proskurina, Antoine Gourru, Julien Velcin

게시일 2026-08-06

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Irina Proskurina, Antoine Gourru, Julien Velcin

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 엄청난 양의 인간 서적 라이브러리를 제공하여 이야기를 쓰는 법을 가르치고 있다고 상상해 보십시오. 이것이 현대의 '거대 언어 모델(LLM)'이 학습하는 방식입니다. 즉, 그들은 수조 개의 단어를 읽으며 인간이 어떻게 말하고, 생각하고, 세상을 묘риста하는지를 이해합니다. 하지만 여기 함정이 있습니다. 인터넷이 로봇 스스로가 쓴 이야기들로 넘쳐나고 있다는 점입니다. 곧 로봇이 또 다른 로봇이 쓴 이야기를 읽고, 그 이야기는 다시 그 이전에 로봇이 썼던 글을 바탕으로 만들어진 것이 되는, 기계 생성 텍스트의 거대한 루프가 형성될 것입니다.

과학자들은 이미 '모델 붕괴(model collapse)'라고 불리는 무서운 문제를 발견했습니다. 만약 로봇이 로봇이 쓴 이야기만을 읽게 된다면, 로봇은 실제 세상을 잊어버리기 시작합니다. 어휘는 줄어들고, 문장은 반복적이며, 결국에는 말이 통하지 않게 됩니다. 마치 복사본의 복사본을 계속 만들 때마다 점점 더 흐릿해지는 복사본처럼 말입니다. 하지만 여기에는 두 번째의 더 교활한 위험이 있습니다. 우리는 로봇이 때때로 인간의 고정관념을 학습한다는 것을 알고 있습니다. 예를 들어 "간호사"는 항상 여성이고, "엔지니어"는 항상 남성이라고 생각하는 식입니다. 큰 의문은 이것입니다. 만약 로봇이 자신의 편향된 로봇 생성 이야기를 계속 학습한다면, 로봇은 글쓰기 실력이 나빠지는 것일까요, 아니면 편향성이 더 심해지는 것일까요? 이 논문은 로봇의 글쓰기 능력이 실제로 망가지기 전에 그 편견이 더 심해지는지를 확인하기 위해 컴퓨터 과학의 바로 이 구석진 영역을 파고듭니다.

연구진은 이 현상이 실시간으로 일어나는 것을 관찰하기 위해 통제된 실험을 설계했습니다. 그들은 언어 모델을 가져와 수천 개의 가짜 직업 약력(예: 의사, 간호사, 엔지니어에 대한 짧은 이야기)을 쓰게 했습니다. 그런 다음, 그 가짜 이야기들을 다시 모델에 입력하여 다시 학습하게 했으며, 이 과정을 계속해서 반복했습니다. 그들은 두 가지 방식으로 실험을 진행했습니다. 하나는 신선한 인간 데이터와 자신의 가짜 이야기를 섞어서 학습하는 방식이었고, 다른 하나는 오직 자신의 이전 가짜 이야기만을 학습하여 폐쇄된 루프를 만드는 방식이었습니다.

연구팀은 놀랍고도 불안한 사실을 발견했습니다. 그들은 '공정성 붕괴(fairness collapse)'라고 부르는 현상을 발견했습니다. 보통 로бо트가 실패하기 시작할 때는 명확한 징후가 나타납니다. 글이 횡설수설하거나 간단한 질문에 대답하는 능력이 형편없어지는 식입니다. 하지만 이 연구에서 로봇의 글쓰기는 처음에는 오히려 '개선'되었습니다. 혼란도(perplexity)라고 불리는 점수가 낮아졌는데, 이는 로봇이 문장의 다음 단어를 예측하는 데 더 능숙해졌음을 의미합니다. 그러나 글쓰기는 완벽해 보였지만, 내부적인 편향성은 점점 더 악화되고 있었습니다.

이것을 수학을 못 하는 친구가 쓴 노트를 보고 시험 공부를 하는 학생에 비유해 보십시오. 학생은 친구의 노트를 완벽하게 암기하기 시작하여, 노트 내용이 일관적이기 때문에 연습 퀴즈에서 점점 더 높은 점수를 받을 수도 있습니다. 하지만 학생은 사실 틀린 수학을 배우고 있는 것입니다. 마찬가지로, 연구 속의 로봇은 자신의 편향된 이야기를 "암기"하기 시작했습니다. 자신의 출력물에 대해 계속 학습함에 따라, "간호사"와 "여성"(또는 "엔지니어"와 "남성") 사이의 연결 고리는 글쓰기 실력이 여전히 훌륭해 보이는 동안에도 점점 더 강력해졌습니다.

이 연구는 이러한 편향 증폭이 로봇이 명백한 실수를 하기 전 단계에서 발생한다는 것을 보여주었습니다. 한 실험에서, 자신의 가짜 데이터로 5회 학습을 거친 후, 로봇의 일반 지식 테스트 점수는 천천히 떨어지기 시작한 반면, 편향 점수는 급격히 상승했습니다. 이는 로봇이 '조용하게' 편견을 갖게 되고 있음을 시사합니다. 로봇은 고장 나는 것이 아니라, 자신의 고정관념을 더욱 확신하게 되는 것입니다.

연구진은 또한 이 "공정성 붕괴"가 로봇이 자신의 이전 출력물만을 학습했을 때(재귀적 루프), 신선한 인간 데이터를 섞었을 때보다 훨씬 더 심하다는 것을 발견했습니다. 폐쇄된 루프 안에서 로봇의 편향은 꾸준하고 예측 가능하게 성장하며, 동일한 고정관념을 반복해서 강화했습니다.

그렇다면 이것은 무엇을 의미할까요? 이는 우리가 AI가 생성하는 콘텐츠에 점점 더 의존함에 따라, AI 모델이 우리가 눈치채지 못하는 사이에 점점 더 편향되는 피드백 루프를 만들 수 있음을 시사합니다. 모델이 실패하고 있음을 알려주는 '경고등'(예: 나쁜 글쓰기나 낮은 테스트 점수)은 모델이 이미 깊게 편향된 이후에나 켜질 수도 있습니다. 논문은 결론적으로, 모델이 "망가져" 보일 때쯤이면 이미 매우 확신에 찬, 매우 편견에 가득 찬 모습이 되어 있을 수 있기 때문에 공정성을 체크하기 위한 새로운 방법들이 필요하다고 주장합니다.

기술 요약: 페어니스 콜랩스(Fairness Collapse, 공정성 붕괴) 현상

문제 정의

기계 생성 텍스트가 언어 모델(LLM)의 학습 코퍼스를 점점 더 오염시킴에 따라, 재귀적 학습이 분포적 다양성의 점진적 상실과 성능 저하를 초래하는 "모델 붕괴(model collapse)" 현상이 심각한 위험으로 부상하고 있다. 기존 연구들은 모델 붕괴가 표준 언어 모델링 지표(예: 퍼플렉시티) 및 다운스트림 태스크 성능의 하락으로 나타난다는 점을 입증해 왔으나, 이 과정이 기존의 사회적 편향을 증폭시키는지 혹은 완화시키는지에 대해서는 여전히 불분명하다.

저자들은 **"페어니스 콜랩스(Fairness Collapse, 공정성 붕괴)"**라고 명명된 독특한 실패 모드를 가설로 제시한다. 이 현상은 모델이 스스로 생성한 데이터로 재귀적 학습을 수행할 때, 인구통계학적 고정관념(특히 성별-직업 연관성)이 세대를 거듭하며 은밀하게 증폭되는 피드백 루프가 생성된다고 가정한다. 결정적으로, 저자들은 이러한 편향 증폭이 전통적인 모델 붕괴 지표(퍼플렉시티 증가 또는 정확도 하락 등)가 나타나기 전에 발생할 수 있다고 제안하며, 이는 모델이 표준 지표상으로는 성능이 개선되거나 안정적인 것처럼 보이면서도 공정성 측면에서는 퇴보하는 심각한 위험을 시사한다.

방법론

데이터 및 모델

데이터셋: 본 연구는 성별과 직업이 주석 처리된 인간 작성 전문 전기(biographies) 모음인 Bias in Bios 코퍼스를 활용한다. 고유한 데이터셋 불균형으로부터 재귀적 학습의 효과를 분리하기 위해, 저자들은 약 200만 토큰, 28개 직업에 걸친 27,752개의 균형 잡힌 서브셋을 구축하였다.
베이스 모델: 실험은 Qwen2.5-0.5B를 사용하여 수행되었다.
학습 체계: 저자들은 세 가지 통제된 지속 사전 학습(continued-pretraining) 전략을 비교하였다(그림 2 참조):
1. Human-only (인간 전용): 원래의 인간 코퍼스로 반복 학습 (베이스라인).
2. Iterative Regeneration (반복 재생성): 이전 반복( $M_{\theta_t}$ )에서 생성된 합성 데이터를 사용하되, 다음 학습 실행 시에는 새로운 베이스 모델( $M_{\theta_0}$ )에서 초기화한다. 이는 누적된 파라미터 업데이트로부터 재생성된 데이터의 효과를 격리한다.
3. Recursive Contamination (재귀적 오염): 모델이 자신의 출력물로 지속적으로 학습된다. $M_{\theta_t}$ 가 합성 데이터를 생성하고, 이것이 다음 학습 반복( $M_{\theta_{t+1}}$ )의 초기화 값으로 사용되어 폐쇄형 피드백 루프를 형성한다.

합성 데이터 생성

합성 전기를 생성하기 위해 두 가지 생성 전략이 채택되었다:

Seeded Generation (시드 기반 생성): 모델이 다양한 길이(5~50 토큰)의 인간 작성 접두사(seed)를 이어 나간다. 이를 통해 샘플 내 모델 생성 콘텐츠의 비율을 정밀하게 제어할 수 있다.
Few-Shot Generation (퓨샷 생성): 특정 직업에 대한 $K=3$ 개의 인간 작성 예시가 포함된 프롬프트를 바탕으로 모델이 전기를 생성한다.

평가 프로토콜

공정성 지표:
- 직업 예측 정확도(Occupation Prediction Accuracy): 전기가 실제 직업과 일치하는지 아니면 의미론적으로 유사한 대안 직업과 일치하는지를 결정하는 쌍별 분류 태스크.
- 기회 균등(Equality of Opportunity, EO) GAP: 각 직업에 대해 남성 전기와 여성 전기 간의 참 양성률(true positive rates)의 차이를 측정한다. 집계 점수는 직업 수준 격치의 제곱평균제곱근(RMS)이다.
- 우도 비대칭성(Likelihood Asymmetry): 동일 직업 내 성별 간 토큰 수준 확률 차이를 측정하는 부호 있는 조건부 우도 격차(NLL-GAP).
- 외부 벤치마크: CrowS-Pairs (고정관념 선호도) 및 SoFA (사회적 공정성 편향).
일반 성능 지표:
- 퍼플렉시티(Perplexity, PPL): 각 반복 단계에서 사용된 학습 데이터에 대해 측정된다.
- MMLU: 다양한 도메인(과학, 법률, 의학 등)에 걸친 멀티태스크 정확도를 통해 일반적 능력 저하를 모니터링한다.
데이터 품질 지표: Wasserstein 거리(임베딩 분포 정렬) 및 MTLD(어휘 다양성).

주요 결과

1. 공정성 저하가 모델 붕괴보다 선행함

핵심 발견은 공정성 저하가 전통적인 모델 붕괴 지표보다 유의미하게 먼저 나타난다는 것이다.

**재귀적 시드 학습(Recursive seeded training)**에서 EO GAP는 13.18(Iteration 0)에서 19.38(Iteration 5)로 증가했다.
동시에, 퍼플렉시티는 개선(감소)되어 16.07에서 10.55가 되었으며, MMLU 정확도는 완만하게 하락(42.14에서 32.08로)하였다.
퓨샷 생성에서도 유사한 경향이 관찰되었는데, 초기 반복 단계에서 언어 모델링 성능이 안정적이거나 개선되는 동안에도 공정성 지표는 악화되었다.

2. 인구통계학적 연관성의 증폭

재귀적 학습은 임의의 노이즈를 도입하는 대신 기존의 편향을 강화했다:

방향성 표류(Directional Drift): 여성 관련 직업(예: "간호사")은 점점 더 부정적인 EO 값(여성에 대한 편향이 강해짐을 의미)을 향해 이동한 반면, 남성 관련 직업(예: "교수")은 양의 값 쪽으로 표류했다.
우도 비대칭성: NLL-GAP 및 CrowS-Pairs와 같은 지표는 모델의 다음 토큰 예측 능력(퍼플렉시티)이 향상되는 동안에도 반복 회차에 따라 점진적으로 더 강한 인구통계학적 비대칭성을 보여주었다.

3. 재귀적(Recursive) vs 반복적(Iterative) 체계

재귀적 오염(Recursive Contamination) 방식은 가장 심각하고 단조로운 공정성 저하를 생성했다. 동일한 모델을 자신의 출력물로 업데이트하는 누적 효과가 편향 증폭을 가속화했다.
반복적 재생성(Iterative Regeneration)(매번 베이스 모델을 재초기화) 방식은 공정성 저하가 나타나긴 했으나 더 느리고 일관성이 없었다. 이는 편향된 합성 데이터에 노출되는 것 자체가 주요 동력이지만, 재귀적인 파라미터 업데이트 루프가 그 효과를 악화시킨다는 것을 시사한다.

4. 어휘 다양성과 공정성의 디커플링(Decoupling)

어휘 다양성(MTLD)과 Wasserstein 거리 분석 결과, 극적인 표면적 분포 붕괴가 없는 상황에서도 공정성 변화가 축적될 수 있음이 드러났다. MTLD 점수는 비교적 안정적으로 유지되었으나, 그룹 조건부 격차(EO GAP)는 유의미하게 이동했다. 이는 집계 지표가 공정성의 침식을 포착하지 못할 수 있음을 나타낸다.

의의 및 주장

본 논문은 언어 모델 학습의 별도 초기 단계 실패 모드인 **페어니스 콜랩스(Fairness Collapse)**를 식별했다고 주장한다.

은밀한 증폭(Silent Amplification): 주요 의의는 표준 지표(퍼플렉시티, MMLU)가 모델의 성능이 좋거나 오히려 개선되고 있다고 암시하는 동안에도 편향이 "은밀하게" 증가할 수 있음을 입증했다는 점이다. 이는 표준 언어 모델링 지표를 모니터링하는 것만으로는 모델의 안전성이나 공정성 저하를 감지하기에 충분하다는 가설에 도전한다.
합성 데이터 오염의 위험: 합성 텍스트가 웹 코퍼스에서 차지하는 비중이 커짐에 따라, 여기서 설명된 재귀적 피드백 루프는 심각한 위험을 초래한다. 이러한 데이터로 학습된 모델은 생성 품질의 명백한 붕괴가 감지되기 전에 특정 인구통계학적 그룹에 대해 점점 더 편향될 수 있다.
한계점: 저자들은 자신들의 연구 결과가 Bias in Bios 데이터셋(영어 내 성별/직업)에 국한되며, 상대적으로 작은 디코더 전용 모델 및 고정된 생성 설정에 기반하고 있음을 겸허히 밝히고 있다. 이 결과가 추가 검증 없이 모든 모델 규모나 민감한 속성에 보편적으로 적용된다고 주장하지는 않는다.

결론적으로, 본 연구는 "재귀의 저주"가 분포적 붕괴를 넘어 사회적 편향의 은밀한 증폭까지 확장된다는 실증적 근서를 제공하며, 전통적인 성능 지표와 함께 공정성 지표를 구체적으로 추적하는 새로운 모니터링 전략이 필요함을 강조한다.