기술 요약: 언어 모델의 잊을 수 없는 일반화 (Unforgettable Generalization in Language Models)

문제 정의

본 논문은 거대 언어 모델(LM)의 기계 망각(machine unlearning) 분야에서 존재하는 결정적인 공백을 다룹니다. 최근 연구들은 특정 기술이나 선언적 지식을 제거하기 위해—종종 무작위 레이블로 미세 조정하여 태스크를 "망각"하도록 하는 방식—기술 개발에 집중해 왔으나, 이러한 망각이 어떻게 일반화되는지에 대한 이해는 부족한 실정입니다. 구체적으로, 언어 모델이 특정 훈련 세트에 대해 특정 능력을 잊도록 학습되었을 때, 그 모델의 행동이 동일한 태스크의 보지 못한(unseen) 예시들에 대해서도 예측 가능하게 변화하는지, 아니면 망각이 오직 훈련 데이터에만 국한되는지를 조사합니다. 저자들은 특정 태스크를 망각하도록 미세 조정한 결과가 견고하고 일반화 가능한 망각으로 이어지는지, 아니면 모델이 새로운 인스ธาน스(instance)에 대해 해당 "망각된" 태스크를 수행하는 능력을 여전히 유지하는지를 탐구합니다.

방법론

저자들은 Llama2 7-billion parameter 베이스 모델을 사용하여 체계적인 연구를 수행하며, GPT-J-6B 및 GPT-2를 통해 추가 검증을 진행합니다. 실험 설정은 상식 추론, 독해, 수학, 독성 탐지, 함의 분류를 아우르는 21개의 다양한 다중 선택 태스크를 포함합니다.

핵심 절차는 다음과 같은 3단계 파이프라인을 따릅니다:

1. 사전 훈련(Pre-training): 사전 훈련된 LM에서 시작합니다.
2. 미세 조정(Fine-tuning): 모델을 타겟 태스크($T_{train}$)에 대해 정확도를 극대화하도록 미세 조정하여, 학습된 능력의 기준선(baseline)을 확립합니다.
3. 망각(Forgetting): 모델을 동일한 훈련 세트($T_{train}$)에 대해 레이블을 균등 분포의 무작위 값으로 선택하여 다시 미세 조정합니다. 이는 망각을 유도하는 표준적인 방법입니다.

측정 지표:
망각의 성공 여부를 정량화하기 위해 저자들은 두 가지 지표를 정의합니다:

• 망각 격차(Forget Gap): 망각 후의 정확도와 기대되는 무작위 정확도(이진 분류의 경우 50%) 사이의 차이입니다. 격차가 0이면 완전한 망각을 의미합니다.
• 망각 비율(Forget Ratio): 미세 조정으로부터 얻은 총 가능한 이득 대비 망각 후의 정확도 하락을 비교한 정규화된 척도입니다. 비율이 1이면 완전한 망각을, 0이면 망각이 전혀 일어나지 않았음을 나타냅니다.

분석 차원:
본 연구는 다음과 같은 여러 차원에서 망각을 평가합니다:

• 태스크 수준의 일반화: 서로 다른 태스크 유형 간의 망각 성능 비교.
• 교차 태스크 망각(Cross-Task Forgetting): 태스크 A의 무작위 레이블로 미세 조정한 후 태스크 B에 대해 평가.
• 망각의 예측 인자: 망각 성공과 태스크 난이도, 모델 확신도, 그리고 은닉 상태 표현(hidden state representations)의 분산 사이의 상관관계 분석.
• 학습과 망각의 순서: 예시들이 학습되는 순서와 그 예시들이 망각되는 순서 사이의 관계 조사.
• 망각의 깊이: 망각 절차 이후 모델의 은닉 표현에 선형 프로브(linear probe)를 훈련시켜, 정보가 실제로 삭제되었는지 아니면 단순히 검열(censored)된 것인지 결정.

주요 결과

1. 일반화의 높은 가변성

주요 발견은 망각의 일반화가 매우 태스크 의존적이며 예측 불가능하다는 것입니다.

• 견고한 태스크: 상식 추론(예: PIQA, ARC) 및 과학적 질의응답(예: SciQ, PubMedQA)과 관련된 태스크는 망각에 매우 강한 저항성을 보입니다. 무작위 레이블로 훈련된 후에도 이러한 모델들은 종종 높은 정확도를 유지하며, 결과적으로 망각 행동을 일반화하는 데 실패합니다.
• 취약한 태스크: 낮은 수준의 언어적 태스크, 특히 함의 분류(예: MNLI, RTE, CoLA) 및 문법적 적절성은 쉽게 망각됩니다. 무작위 레이블로 훈련된 모델은 새로운 테스트 인스턴스에 대해 거의 무작위에 가까운 예측을 생성하는 경향이 있습니다.

2. 평가 태스크가 성공을 결정함

교차 태스크 실험에서 저자들은 망각 절차의 효과가 훈련에 사용된 태스크가 아니라, 평가되는 태스크에 의해 크게 결정된다는 것을 발견했습니다. 예를 들어, 모델이 상식 추론을 잊도록 훈련하면 해당 태스크에 대한 망각을 유도하는 데 실패할 수 있지만, 의도치 않게 다른 관련 없는 언어적 태스크를 망각하게 만들 수도 있습니다.

3. 망각의 예측 인자

• 태스크 난이도: 직관과는 반대로, 태스크 난이도(미세 조정 정확도로 측정됨)는 망각 가능성을 예측하는 신뢰할 만한 지표가 아닙니다. 어려운 태스크라고 해서 반드시 더 잊기 어려운 것은 아닙니다.
• 모델 확신도: 본 논문은 결론에서 데이터셋 난이도와 모델 확신도가 특정 산점도에서 약한 상관관계를 보임에도 불구하고, 망각 여부를 예측하는 데 예측력이 없다고 명시적으로 밝히고 있습니다.
• 표현 분산(Representation Variance): 은닉 상태(구체적으로 마지막 레이어의 질문의 마지막 토큰)의 총 분산은 강력한 예측 인자입니다. 훈련 데이터 표현의 분산이 낮은 태스크는 망각의 일반화가 더 크게 일어나는 것과 연관되어 있습니다. 이는 "더 넓거나" "다양한" 태스크일수록 잊기가 더 어렵다는 것을 시사합니다.

4. 망각의 얕은 특성 (Shallow Nature of Forgetting)

모델이 태스크를 성공적으로 잊은 것처럼 보이는 경우(무작위 출력을 생성하는 경우)에도, 정보는 실제로 제거되지 않았습니다. 모델의 은닉 표현에 훈련된 선형 프로브는 여전히 높은 정확도로 올바른 태스크 레이블을 안정적으로 복구할 수 있습니다. 이는 무작위 레이블 미세 조정이 모델의 표현으로부터 능력을 완전히 지우는 것이 아니라, 단지 출력을 검열하는 **얕은 망각(shallow forgetting)**을 유도함을 나타냅니다.

5. 모델 및 방법론 간의 견고성

관찰된 경향은 서로 다른 모델 아키텍처(Llama2, GPT-J, GPT-2)와 서로 다른 망각 전략(무작위 레이블 vs. 뒤집힌 레이블) 전반에 걸쳐 유지되며, 이는 이러한 현상이 특정 모델이나 방법의 산물이 아니라 태스크 구조와 미세 조정이 상호작용하는 근본적인 속성임을 시사합니다.

의의 및 주장

본 논문은 표준적인 미세 조정 기술을 통한 표적 기술 제거의 어려움과 예측 불가능성을 강조한다고 주장합니다.

• 예측 불가능성: 저자들은 특정 데이터셋에 대해 특정 기술을 잊도록 모델을 훈련시키는 것이, 유사한 새로운 인스턴스에 대해 해당 기술이 잊힐 것이라고 가정할 수 없음을 강조합니다. 그 행동은 복잡하고 구조화된 교차 태스크 가변성에 의해 지배됩니다.
• 얕은 제거: 본 연구는 무작위 레이블 미세 조정이 진정한 "언러닝(unlearning)" 메커니즘으로서의 효용성에 의문을 제기합니다. 선형 프로브가 잊힌 능력을 복구할 수 있다는 점은, 이 방법이 모델의 내부 표현으로부터 정보를 제거하지 못하며, 이는 진정한 데이터 제거가 요구되는 프라이버시나 안전 애플리케이션에서의 활용에 우려를 불러일으킵니다.
• 태스크 의존성: 연구 결과는 망각의 성공이 망각을 위한 훈련에 사용된 데이터보다는, 평가되는 태스크의 본질에 내재되어 있음을 시사합니다.

저자들은 무작위 레이블로 미세 조정하는 것이 망각을 위한 단순하고 널리 사용되는 방법이지만, 매우 가변적이고 종종 피상적인 결과를 초래하며, 이는 망각을 위한 훈련 데이터와 모델 예측의 일반화 사이의 관계에 대한 추가 연구가 필요함을 강조하며 결론을 맺습니다.