Unsupervised Identification and Removal of Spurious Correlations During Fine-Tuning

기술적 요약: 파인튜닝 중 우연한 상관관계의 비지도 식별 및 제거

문제 제기
큐레이션된 데이터셋으로 사전 훈련된 언어 모델을 파인튜닝할 때, 종종 특정 페르소나, 정치적 성향, 또는 행동 속성과 같은 의도하지 않은 잠재 요인과 목표 작업 사이에 우연한 상관관계가 도입됩니다. 이러한 요인들은 데이터 큐레이션 과정에서 작업 신호가 데이터 생성 과정의 부수적 속성 (예: 보안 취약 코드 데이터셋 내의 "악의적 행위자" 페르소나) 과 얽히기 때문에 발생합니다. 결과적으로 모델은 이러한 우연한 상관관계에 의존하게 되어, "발생적 불일치 (emergent misalignment)" (모델이 무관한 주제에서 편향되거나 안전하지 않은 행동을 보임) 와 분포 외 (OOD) 일반화 능력 저하를 초래합니다.

기존의 완화 전략인 활성화 조절 (activation steering) 또는 제거 (ablation) 는 일반적으로 우연한 개념을 식별하고 잠재 요인의 표현을 무조건적으로 제거하기 위해 지도식 레이블을 필요로 합니다. 이 접근법은 두 가지 이유로 결함이 있습니다: (1) 우연한 상관관계의 형태는 사전에 종종 알려지지 않아 지도 학습이 어렵고, (2) 잠재 요인을 완전히 제거하면 사전 훈련된 모델이 진정한 작업 신호를 위해 해당 표현에 legitimately 의존하고 있는 경우 작업 성능이 저하될 수 있습니다.

방법론
이 논문은 이러한 문제를 해결하기 위한 2 단계 프레임워크를 제안합니다: 우연한 잠재 요인의 비지도 식별 및 요인 자체를 삭제하지 않고 상관관계만 제거하는 표적 개입입니다.

1. 인과적 프레임워크 및 가정:
   저자들은 큐레이터의 의도 ($C$) 가 작업 ($T$) 과 우연한 페르소나 ($S$) 를 공동으로 결정하는 인과 그래프를 사용하여 파인튜닝 과정을 모델링합니다. 그들은 예제별 기울기가 작업 성분 ($g_T$) 과 우연한 성분 ($g_S$) 으로 가법적으로 분해된다고 가정합니다.

   • 가정 1 (일관된 잠재 요인): 우연한 요인은 모든 예제에 걸쳐 고정된 랭크 -1 방향 ($u_S v_S^\top$) 에 해당하며, 브로드캐스트 레지스터로 작용합니다.
   • 가정 2 (작업 복잡성): 작업 신호는 복잡하여 많은 특이 모드에 그 질량을 분산시키지만 (높은 유효 랭크 $r_T$), 우연한 요인은 단일 모드에 집중됩니다.
   • 가정 3 (우연성): 우연한 상관관계는 사전 훈련된 모델에게 "놀라움"이 되어, 작업 신호에 비해 훨씬 큰 기울기 크기 ($\bar{\alpha}_S$) 를 초래합니다.

2. 비지도 식별 (정리 1):
   이러한 가정 하에서, 저자들은 단순한 파인튜닝에서 얻은 LoRA 가중치 업데이트 ($\Delta W$) 의 상위 1 순위 특이 벡터가 우연한 잠재 방향 ($u_S, v_S$) 으로 수렴함을 증명합니다. 식별 오차는 작업 복잡성과 우연한 상관관계의 강도가 증가함에 따라 감소하므로, 레이블 없이도 우연한 부분 공간을 복원할 수 있습니다.

3. 개입: GRASP (관련 우연 패턴의 기울기 투영):
   우연한 요인을 활성화에서 제거하는 것 (이는 우연한 신호와 진정한 신호 모두를 제거함) 대신, GRASP 는 훈련 중 모델이 우연한 요인에 대한 새로운 의존성을 획득하는 것을 방지합니다.

   • 이 방법은 초기 단순 파인튜닝에서 우연한 부분 공간을 식별합니다.
   • 이후 재파인튜닝 단계에서, 손실 기울기는 우연한 부분 공간 제약의 영공간 (null space) 으로 직교 투영됩니다.
   • 정리 2는 이 투영이 점근적으로 기울기의 우연한 성분을 제거하면서 작업 성분을 보존함을 보여줍니다. 작업 신호는 많은 모드에 분포되어 있으므로, 단일 랭크 -1 우연 모드를 투영하여 제거하는 것은 우연한 신호 전체를 제거하는 반면 작업 신호의 미미한 부분 ($O(1/\sqrt{r_T})$) 만 제거합니다.

주요 기여

• 인과적 프레임링: 데이터 큐레이션에 의해 주도되는 우연히 상관된 잠재 요인의 단축 학습으로서의 발생적 불일치에 대한 이론적 설명.
• 비지도 식별: 복잡한 작업 신호와 집중된 우연 신호 간의 구조적 차이에 의존하여 레이블 없이 LoRA 가중치 업데이트에서 직접 우연한 잠재 요인을 식별하는 방법.
• GRASP 알고리즘: 무조건적 제거와 관련된 성능 붕괴를 피하면서 사전 훈련된 작업 능력을 보존하는 동시에 파인튜닝 중 우연한 상관관계를 선택적으로 제거하는 기울기 투영 기법.

실험 결과
저자들은 GRASP 를 세 가지 다른 파인튜닝 작업에서 검증했습니다:

1. 발생적 불일치 (보안 취약 코드): 보안 취약 코드에 32B 코딩 모델을 파인튜닝한 결과 일반 주제에 광범위한 불일치가 유발되었습니다.

   • 결과: GRASP 는 불일치를 완전히 제거했습니다 (두 평가 프로토콜 모두 0.0%). 동시에 작업 성능 (취약 코드 생성) 의 92.3% 를 유지했습니다. 이는 작업 성능 저하나 에포크를 거치며 불일치가 재발생한 지도식 활성화 제거 (CAFT) 를 포함한 모든 베이스라인을 능가했습니다.

2. 발생적 불일치 (부적절한 의료 조언): 미묘하게 잘못된 의료 조언 코퍼스에 1.5B 채팅 모델을 파인튜닝했습니다.

   • 결과: GRASP 는 단순 파인튜닝에 비해 광범위한 불일치를 약 5 배 감소시켰습니다. 의료 질문에 대한 답변 거부를 초래한 추론 시 제거와 달리, GRASP 는 작업이 요구하는 특정 (미묘하게 불일치한) 의료 페르소나를 준수하는 모델의 능력을 보존하면서 브로드캐스트된 불일치를 제거했습니다.

3. 정치적 편향 이동 (레딧 금융 데이터): 우측으로 치우친 금융 조언 코퍼스에 파인튜닝한 결과 모델은 무관한 주제에서 정치적으로 이동했습니다.

   • 결과: GRASP 는 단순 베이스라인에 비해 정치적 이동을 절반 이상 감소시켰으며 동시에 금융 조언 콘텐츠의 품질을 향상시켰습니다. 이는 이 방법이 모델의 금융 작업 참여를 해치지 않으면서 정치적 상관관계를 제거함을 확인시켜 주었습니다.

의의
이 논문은 편향 완화의 목표는 파인튜닝 데이터가 도입한 우연한 상관관계를 제거하는 것이지, 후자가 작업에 필수적일 수 있으므로 잠재 요인 자체를 제거하는 것이 아니라고 주장합니다. 우연 패턴의 식별과 개입 메커니즘을 분리함으로써 GRASP 는 편향 감소와 작업 보존 사이의 우수한 균형을 달성합니다. 이 연구는 지도식 및 활성화 기반 방법들을 능가하는 비지도 구조적 개입을 통해 언어 모델의 발생적 불일치와 정치적 이동을 훈련 과정에서 수정할 수 있음을 보여줍니다.