Annotation Entropy Predicts Per-Example Learning Dynamics in LoRA Fine-Tuning
이 논문은 SNLI 와 MNLI 데이터셋에서 6 개의 모델을 대상으로 한 실험을 통해, LoRA 파인튜닝 시 주석 간 불일치 (주석 엔트로피) 가 높은 예제들이 오히려 학습 중 손실이 증가하는 '망각 (un-learning)' 현상을 보이며, 이는 전체 파인튜닝에서는 관찰되지 않는 LoRA 고유의 학습 역학임을 규명했습니다.
보통 AI 는 쉬운 문제부터 어려운 문제 순서로 배웁니다. 마치 학생이 수학 문제를 풀 때, 간단한 덧셈부터 먼저 익히고 나중에 미적분을 배우는 것과 비슷하죠. 하지만 이 연구는 **"사람들이 의견이 갈리는 (애매한) 문제"**를 AI 가 어떻게 처리하는지 궁금해했습니다.
예시: "이 문장이 사실일까, 거짓일까?"라는 질문이 있습니다.
명확한 경우 (Clean): 100 명 중 99 명이 "사실"이라고 답함. (AI 가 쉽게 배움)
애매한 경우 (Contested): 100 명 중 50 명은 "사실", 50 명은 "거짓"이라고 답함. (사람들끼리도 의견이 나뉨)
2. 실험: LoRA 라는 '작은 공책'을 사용하다
AI 를 학습시킬 때 모든 기억을 다 바꾸는 '전체 학습 (Full Fine-tuning)' 대신, LoRA라는 기술을 썼습니다.
비유: 전체 학습은 새로운 두꺼운 교과서를 통째로 바꾸는 것이고, LoRA 는 **기존 교과서 옆에 붙이는 작은 공책 (부록)**에 핵심 내용만 적어 추가하는 방식입니다. 메모리를 아끼고 효율적이죠.
3. 놀라운 발견: "애매한 문제는 오히려 잊어버린다?"
연구진은 LoRA 를 사용할 때 예상치 못한 현상을 발견했습니다.
일반적인 학습 (전체 학습): AI 는 쉬운 문제도, 애매한 문제도 시간이 지나면 점점 잘 풀게 됩니다.
LoRA 학습: 쉬운 문제는 잘 배우는데, 사람들 의견이 갈리는 (애매한) 문제는 시간이 지날수록 오히려 더 못 풀게 됩니다.
비유: 학생이 시험을 볼 때, 확실한 문제는 계속 점수가 오르는 반면, 혼란스러운 문제는 공부할수록 "아, 이건 내 방식이 아니야!"라고 생각하며 정답을 더 못 맞추게 되는 것입니다.
논문에서는 이를 **'Un-learning (학습의 역행/잊어버림)'**이라고 부릅니다.
4. 왜 이런 일이 일어날까? (핵심 원인)
이 현상의 원인은 **LoRA 의 '작은 공책' 크기 (Rank)**에 있습니다.
비유: LoRA 의 작은 공책은 용량이 매우 제한적입니다.
AI 는 이 좁은 공책에 **가장 많은 사람이 동의하는 명확한 규칙 (예: "사실"이라고 답하는 패턴)**을 먼저 적어 넣습니다.
그런데 공책이 꽉 차버리면, 사람들 의견이 반반으로 나뉜 애매한 문제를 적을 공간이 없어집니다.
오히려 명확한 규칙을 더 강화하는 과정에서, 애매한 문제와 관련된 기억이 지워지거나 덮어씌워져서 실수가 늘어나는 것입니다.
5. 다른 방법 (IA3) 은 어떨까?
연구진은 다른 효율적인 학습 방법인 'IA3'도 테스트했습니다.
결과: IA3 는 LoRA 처럼 애매한 문제를 잊어버리는 현상이 없었습니다.
의미: 이 '잊어버림' 현상은 LoRA 라는 특정 방식의 구조적 한계 때문임을 증명했습니다.
💡 이 연구가 우리에게 주는 교훈
AI 도 '애매함'을 싫어한다: AI 가 학습할 때, 데이터에 사람 의견이 갈리는 부분이 많다면, LoRA 같은 효율적인 방법을 쓸 때 오히려 그 부분을 망칠 수 있다는 경고입니다.
효율성 vs 정확성: LoRA 는 빠르고 가볍지만, 모든 것을 다 잘 기억하지는 못합니다. 특히 "누가 옳은지 모호한 상황"에서는 더 큰 공책 (높은 Rank) 이나 다른 방법이 필요할 수 있습니다.
데이터의 중요성: AI 를 가르칠 때, "사람들이 의견이 나뉜 문제"가 얼마나 많은지 미리 체크해야 합니다. 만약 그런 문제가 많다면, AI 가 그걸 배우는 과정에서 오히려 혼란을 겪을 수 있기 때문입니다.
📝 한 줄 요약
"AI 에게 효율적으로 가르치기 위해 '작은 공책 (LoRA)'을 쓰면, 확실한 문제는 잘 배우지만, 사람들도 의견이 갈리는 애매한 문제는 오히려 공부할수록 더 못하게 된다는 놀라운 발견!"
이 연구는 AI 가 단순히 데이터를 외우는 것이 아니라, 데이터의 '혼란스러움'과 학습 방식의 '제한' 사이에서 어떤 균형을 이루는지를 보여주는 중요한 통찰을 줍니다.
1. 연구 배경 및 문제 정의 (Problem)
학습 역학의 불일치: 신경망은 일반적으로 '쉬운' 예제를 먼저 학습하고 '어려운' 예제를 나중에 학습하는 일관된 순서를 따릅니다. 기존 연구들은 모델 내부의 신호 (신뢰도, 변동성 등) 를 사용하여 예제의 난이도를 정의해 왔으나, 이는 학습 과정 자체에서 파생된 내생적 (endogenous) 측정치라는 한계가 있습니다.
LoRA 의 미해결 질문: LoRA(Low-Rank Adaptation) 는 파라미터 효율적 파인튜닝 (PEFT) 의 표준 방법이지만, LoRA 의 저랭크 제약이 개별 예제의 학습 순서와 동역학에 어떤 영향을 미치는지는 아직 탐구되지 않았습니다.
핵심 질문: 외부에서 정의된 '주석 불일치 (Annotator Disagreement)'가 모델이 어떤 예제를 먼저 학습하는지 예측할 수 있는가? 그리고 이 패턴은 LoRA 와 같은 PEFT 방법에서 어떻게 변화하는가?
2. 방법론 (Methodology)
데이터 및 주석 엔트로피 (Annotation Entropy):
ChaosNLI 데이터셋을 사용했습니다. 이 데이터셋은 SNLI 와 MNLI 의 각 예제당 100 명의 어노테이터로부터 라벨을 수집하여, 예제당 100 개의 주석 분포를 제공합니다.
엔트로피 계산: 각 예제 i에 대해 주석 분포 pi를 기반으로 엔트로피 Hi를 계산합니다 (Hi=−∑pi,clogpi,c).
Contested (쟁점): 엔트로피 ≥ 0.7 (주석자들이 거의 균등하게 나뉘거나 심하게 분열된 경우).
학습 역학 측정 (Per-Example Learning Dynamics):
AULC (Loss Curve Area): 학습 과정 전체 (39 체크포인트) 에 걸쳐 각 예제의 크로스 엔트로피 손실을 적분한 '손실 곡선 아래 면적 (AULC)'을 계산합니다. AULC 가 낮을수록 학습이 빠르다는 의미입니다.
손실 변화 (Δℓ): 학습 시작과 종료 시의 손실 차이를 계산하여 '망각 (Forgetting)' 또는 '역학습 (Un-learning)'을 정량화합니다.
실험 설정:
모델: 4 가지 인코더 모델 (RoBERTa, BERT, DistilBERT, DeBERTa v3) 과 2 가지 디코더 전용 모델 (Qwen2.5-1.5B, Qwen2.5-3B) 총 6 개 모델.
방법: LoRA (Rank r∈{4,16}), IA3, 그리고 Full Fine-Tuning (FT) 을 비교했습니다.
데이터: ChaosNLI 의 SNLI 및 MNLI 하위 집합을 사용하며, 학습 시 일반 데이터 (20,000 개) 와 혼합하여 학습 신호를 보강했습니다.
3. 주요 기여 및 발견 (Key Contributions & Results)
3.1. LoRA 에서의 '역학습 (Un-learning)' 현상 발견
질적 차이: Full Fine-Tuning 에서는 모든 범주의 예제 (Clean, Contested) 가 학습이 진행됨에 따라 손실이 감소했습니다. 반면, LoRA 에서는 'Contested (쟁점)' 예제들의 손실이 학습 과정에서 오히려 증가하는 현상이 관찰되었습니다.
역학습의 정의: 학습 시작부터 종료까지 순손실 (Δℓ>0) 이 발생하는 것으로, 모델이 고합의 패턴에 특화되면서 저랭크 제약 하에서 쟁점 예제에 대한 성능을 잃어버리는 현상입니다.
일관성: 이 현상은 6 개 모델 전체 (인코더 및 디코더) 에서 일관되게 관찰되었으며, IA3 와 같은 다른 PEFT 방법에서는 나타나지 않았습니다.
3.2. 주석 엔트로피와 학습 역학의 강한 상관관계
상관관계: 주석 엔트로피와 AULC 사이에는 모든 25 가지 실험 조건 (6 개 모델 × 다양한 설정) 에서 양의 상관관계가 존재했습니다 (Spearman ρ = 0.06 ~ 0.43).
모델 아키텍처 차이: 디코더 전용 모델 (Qwen) 이 인코더 모델보다 더 강한 상관관계를 보였습니다.
랭크 스케일링: LoRA 의 랭크 (r) 가 증가할수록 (예: r=4→16→ Full FT) 상관관계가 단조 증가하는 경향을 보였습니다.
3.3. 메커니즘 분석 및 통제 실험
경사도 정렬 (Gradient Alignment): 역학습이 발생하는 LoRA 환경에서도 Clean 과 Contested 예제 간의 경사도 방향은 높은 정렬 (Cosine Similarity ∼0.80) 을 보였습니다. 이는 역학습이 경사도 방향의 경쟁 때문이 아니라, 저랭크 서브스페이스의 표현 능력 부족으로 인해 두 그룹의 손실 지형을 동시에 만족할 수 없기 때문임을 시사합니다.
보정 (Calibration) 배제: Full Fine-Tuning 이 LoRA 보다 훨씬 더 '뾰족한 (peaked)' 예측을 내더라도 역학습이 발생하지 않았습니다. 따라서 손실 증가는 예측의 보정 문제 때문이 아니라 LoRA 의 랭크 제약 자체에 기인합니다.
강건성 검증:
다양한 시드 (Seed) 와 데이터셋 (SNLI, MNLI) 에서 결과가 재현되었습니다.
문장 길이, 클래스 불균형, 주석 분포의 편향 등을 통제하더라도 상관관계는 유지되었습니다.
Clean 예제의 라벨에 인위적인 노이즈를 주입하는 실험에서도 엔트로피와 학습 역학의 관계는 안정적이었습니다.
4. 의의 및 시사점 (Significance)
외부 지표의 유효성: 모델 내부 통계가 아닌, 외부의 인간 주석 불일치 (엔트로피) 가 모델의 학습 동역학을 예측할 수 있는 강력한 지표임을 입증했습니다.
LoRA 의 한계와 위험: LoRA 를 사용할 때, 데이터에 본질적인 모호성 (Ambiguity) 이 존재하는 경우, 저랭크 제약이 오히려 해당 예제들의 학습을 방해하거나 역학습을 유발할 수 있음을 경고합니다.
실무적 제언:
모호한 데이터가 포함된 경우, LoRA 의 랙을 높게 설정하거나, 랙을 동적으로 조절하는 전략이 필요합니다.
주석 불일치를 고려한 손실 함수 (Soft labels 등) 나 역학습 감지를 위한 실시간 모니터링이 필요할 수 있습니다.
이론적 확장: PEFT 방법론이 단순히 파라미터 수를 줄이는 것을 넘어, 학습 역학의 질적 변화를 어떻게 유도하는지에 대한 새로운 통찰을 제공합니다.
5. 결론
이 연구는 LoRA 파인튜닝 과정에서 주석 엔트로피가 높은 '쟁점 예제 (Contested Examples)'가 역학습 (손실 증가) 을 겪는다는 새로운 사실을 발견했습니다. 이는 Full Fine-Tuning 이나 다른 PEFT 방법에서는 관찰되지 않는 LoRA 고유의 현상으로, 저랭크 제약이 모델의 표현 능력을 제한하여 모호한 예제들의 학습을 희생시킴을 의미합니다. 주석 엔트로피는 이러한 학습 역학을 예측하는 강력한 외부 지표로 작용하며, 향후 더 큰 규모의 LLM 과 다양한 도메인에서의 PEFT 전략 수립에 중요한 시사점을 제공합니다.