MoRFI: Monotonic Sparse Autoencoder Feature Identification

다음은 논문 "MoRFI: Monotonic Sparse Autoencoder Feature Identification"에 대한 상세한 기술 요약입니다.

1. 문제 제기

대형 언어 모델 (LLM) 은 사실적 지식을 주로 사전 학습 (pre-training) 단계에서 습득합니다. 그러나 새로운 데이터에 대한 지도 미세 조정 (SFT) 과 같은 후속 학습 단계에서는 종종 환각 (hallucinations) 이 발생합니다. 지배적인 가설은 사전 학습 분포에 알려지지 않은 사실에 모델을 노출시키는 것이 저장된 매개변수 지식의 검색 능력을 방해한다는 것입니다.

이전 연구들은 알려지지 않은 데이터로 미세 조정하면 환각률이 증가한다는 것을 입증했지만, 내부 기작적 원인은 여전히 잘 이해되지 않고 있습니다. 구체적으로 다음과 같은 사항이 명확하지 않습니다.

• 잔여 흐름 (residual stream) 의 어떤 특정 잠재 특징 (latent features) 이 지식 검색의 저하와 인과적으로 연결되어 있는가.
• 이러한 특징들을 식별하고 조작하여 모델을 재학습 없이 원래의 지식을 회복할 수 있는가.
• 이러한 기작이 모델 아키텍처와 학습 기간에 따라 어떻게 다른가.

2. 방법론: MoRFI

저자들은 희소 오토인코더 (SAE) 를 사용하여 인과적 잠재 특징을 분리하도록 설계된 2 단계 파이프라인인 **MoRFI(Monotonic Relationship Feature Identification)**를 제안합니다.

A. 통제된 미세 조정 실험

저자들은 Llama 3.1 8B, Gemma 2 9B, Mistral 7B v03의 세 가지 모델을 대상으로 통제된 실험을 수행했습니다.

• 데이터셋: EntityQuestions(Wikidata 에서 파생됨).
• 변수:
  1. 알려지지 않은 비율 ($\uparrow$Unknown): 기본 모델이 알지 못하는 "알려지지 않은" 사실과 "알려진" 사실이 섞인 학습 데이터셋을 다양한 비율 (0%~100%) 로 구성합니다.
  2. 학습 에포크 ($\uparrow$Epochs): 모델을 다양한 기간 (Early Stop, 10, 20, 30, 40, 50 에포크) 동안 학습시킵니다.
• 관찰: 알려지지 않은 사실의 비율과 학습 에포크가 증가함에 따라 닫힌 책 질문 답변 (closed-book QA) 에 대한 테스트 정확도가 크게 하락하여 환각 현상이 확인되었습니다.

B. MoRFI 알고리즘

MoRFI 는 4 차 텐서 (샘플 $\times$ 속성 $\times$ 잠재 변수 $\times$ 시간/에포크) 에 걸쳐 SAE 활성화 값을 분석하여 견고한 단조 경향을 보이는 특징을 찾습니다.

1. 재샘플링 및 집계: 부트스트래핑을 사용하여 수천 개의 시뮬레이션 테스트 환경을 생성하고 평균 활성화 값을 계산하여 노이즈가 줄어든 기준선을 만듭니다.
2. 경향성 검증: 알려지지 않은 데이터의 비율이나 학습 에포크가 증가함에 따라 특징의 활성화가 단조롭게 (일관되게 증가하거나 감소) 변화하는지 확인하기 위해 **스피어만 순위 상관관계 (Spearman rank correlation)**와 **만 - 켄달 검정 (Mann-Kendall tests)**을 적용합니다. 이를 통해 우연한 변동을 필터링합니다.
3. 방향성 정렬: 특징을 증가 (Increasing) (알려지지 않은 데이터에 따라 활성화가 증가) 및 감소 (Decreasing) (활성화가 감소) 집합으로 분류합니다.
4. 최종 순위 매기기: 모든 부트스트랩 반복에서 상위 $K$개 변경된 특징으로 나타나는 빈도에 기반하여 특징에 순위를 매깁니다.

C. 활성화 조종 (Activation Steering)

후보 잠재 변수가 식별되면, 저자들은 잔여 흐름의 중간 계층에서 개입하는 활성화 조종을 수행하여 인과성을 검증합니다.

• 개입: 특정 잠재 변수의 SAE 디코더 벡터를 잔여 흐름에 더하거나 뺍니다.
• 목표: 알려지지 않은 사실로 미세 조정하는 동안 손실된 정확도를 이러한 잠재 변수를 조종하여 회복할 수 있는지 확인합니다.
• 대조군: 임의의 교란에 의한 인공적 이득이 아님을 보장하기 위해 "경향성이 없는" 잠재 변수의 기준선을 사용합니다.

3. 주요 기여

1. MoRFI 알고리즘: 통제된 미세 조정 조건에서 단조 경향을 보이는 SAE 잠재 변수를 식별하고 일시적인 노이즈와 구별하는 일반적이고 통계적으로 엄격한 방법.
2. 환각과의 인과적 연결: 알려지지 않은 사실에 노출되는 것이 잔여 흐름의 특정 식별 가능한 방향으로 지식 검색을 방해한다는 것을 논문이 입증합니다.
3. 조종을 통한 지식 회복: 저자들은 단일 잠재 변수 개입이 알려지지 않은 데이터로 미세 조정하는 동안 손실된 지식의 **69–85%**를 회복하여 추론 시 환각을 효과적으로 역전시킬 수 있음을 보여줍니다.
4. 잠재 변수 역학의 비대칭성:
   • 부정적 조종이 우세함: 알려지지 않은 데이터에 따라 증가하는 특징을 억제 (부정적으로 조종) 하는 것이 감소하는 특징을 증폭시키는 것보다 더 큰 정확도 향상을 가져옵니다.
   • 감소하는 잠재 변수는 영향력이 큼: 알려지지 않은 데이터에 노출되었을 때 자연스럽게 감소하는 특징을 긍정적으로 조종하면 상당한 지식을 회복하는데, 이는 저장된 지식에 대한 접근 경로가 억제되고 있음을 시사합니다.

4. 주요 결과

• 성능 저하: 학습 혼합물 내 알려지지 않은 사실의 비율을 높이면 모델 성능이 일관되게 저하되며, 그 효과는 더 긴 학습 (더 많은 에포크) 으로 인해 악화됩니다.
• 조종 효과성:
  • Llama 3.1 8B에서 가장 좋은 부정적으로 조종된 잠재 변수는 **33.4%**의 상대적 정확도를 회복했습니다 (기준선 17.8% 대비).
  • Mistral 7B에서 가장 좋은 부정적으로 조종된 잠재 변수는 **39.77%**의 상대적 정확도를 회복했습니다.
  • 대조군: 경향성이 없는 잠재 변수로 조종한 경우 무시할 수 있거나 부정적인 성능 변화가 발생하여, 획득한 이득이 식별된 인과적 특징에 특유함을 검증했습니다.
• 지식 회복률 ($R_K$): 조종으로 회복된 사실 중 **69–85%**는 원래 기본 모델 (MD0) 이 알고 있던 사실이었습니다. 이는 개입이 새로운 사실을 학습하는 것이 아니라 사전 학습된 지식에 대한 접근을 복원한다는 것을 확인시켜 줍니다.
• 희소 신호: 단일 잠재 변수 개입이 복합적인 "평균 차이" 방향 ($\delta_u$) 으로 조종하는 것보다 성능이 우수했습니다. 이는 지식 관련 신호가 희소하여 몇 가지 특정 잠재 변수에 집중되어 있으며, 복합 방향에는 효과를 희석시키는 노이즈가 포함되어 있음을 나타냅니다.
• 의미 정렬: 회복된 사실은 주로 지리적 술어 (예: 국가, 수도, 출신 국가) 와 관련이 있으며, 최상위 성능 잠재 변수는 Neuronpedia 와 같은 외부 도구에서 이러한 개념과 의미적으로 정렬되어 있습니다.

5. 중요성 및 함의

• 기작적 해석 가능성: 이 논문은 상관관계를 넘어 특정 SAE 잠재 변수와 모델이 저장된 지식에 접근하는 능력 사이의 인과적 연결을 확립합니다. 미세 조정 중 "망각"은 지식의 소멸이 아니라 접근 경로의 방해임을 시사합니다.
• 추론 시 완화: 이 발견들은 미세 조정으로 인한 환각을 재학습이나 복잡한 검색 증강 생성 (RAG) 시스템 없이도 표적화된 활성화 조종을 통해 추론 시 완화할 수 있음을 시사합니다.
• 안전성 및 정렬: 특정 "정렬되지 않음" 또는 "지식 방해" 특징을 식별함으로써, 이 작업은 모델이 새로운 정보나 상충되는 정보에 노출되었을 때 환각을 방지하기 위한 안전한 미세 조정 관행과 표적 개입을 위한 경로를 제공합니다.
• 일반화 가능성: MoRFI 프레임워크는 모델에 무관하며 일련의 모델 체크포인트를 유도하는 모든 통제된 변수에 적용 가능하여 모델 행동 변화를 분석하는 새로운 도구를 제공합니다.

결론적으로, MoRFI 는 LLM 의 지식 저하 내부 기작을 정확하게 파악하는 강력한 방법을 제공하며, 이러한 저하가 정밀한 단일 잠재 변수 개입을 통해 가역적임을 입증하여 학습 후 모델의 환각을 줄이기 위한 유망한 길을 제시합니다.