What are They Thinking? Delineation, Probing and Tracking of Concepts in LLMs

기술 요약: LLM 내 개념의 경계 설정, 탐지 및 추적

문제 제기
대규모 언어 모델 (LLM) 이 의사결정에 미치는 영향이 커짐에 따라, 그 내부의 '사고 과정'을 이해하는 것이 시급히 필요합니다. 이전 연구들은 선형 프로브 (linear probes) 가 LLM 임베딩 내에서 특정 언어적 속성 (예: 품사, 시제) 과 개념 (예: 시간, 위치, 진실성) 을 탐지할 수 있음을 입증했습니다. 그러나 기존 개념 탐지 방법들은 중대한 한계에 직면해 있습니다. 희소 오토인코더 (SAE) 는 계산 비용이 많이 드는 비지도 학습이 필요하며, 어떤 특정 개념이 탐지될지 통제할 수 없어 표적 감시에는 적합하지 않습니다. 다른 접근법인 LLM 을 프롬프트하여 개념을 식별하게 하는 방법은 별도의 모델 호출이 필요하므로 지속적인 감시에는 비용이 너무 많이 듭니다. 본 논문은 LLM 임베딩 내에서 암시된 개념의 존재와 부재를 정상 작동 중에 모니터링할 수 있는 특정 프로브를 생성하기 위한 저비용이고 확장 가능한 방법론의 필요성을 해결합니다.

방법론
저자들은 개념 프로브를 생성하고 활용하기 위한 3 단계 파이프라인을 제안합니다:

1. 개념 경계 설정 (Concept Delineation): 핵심 혁신은 특정 개념에 대한 고품질 이진 데이터셋을 생성하는 반자동 방법입니다.

   • 템플릿 생성: 저자들은 프로젝트 구텐베르크 텍스트에서 30,000 개의 문장 템플릿을 생성했으며, 인간 주체에 초점을 맞추고 일관된 구조를 포함하도록 필터링했습니다.
   • 예시 생성: 프롬프트된 LLM(gpt-4o) 을 사용하여 각 개념 (존재 대 부재) 에 대한 예시 쌍을 생성했습니다. 이는 템플릿의 구문 구조를 모방하면서 목표 개념을 반영하도록 의미론을 변경하는 방식입니다. 이 접근법은 모델이 개념 자체가 아닌 우연한 상관관계를 학습하는 '라벨 누출 (label leakage)'을 방지하는 것을 목표로 합니다.
   • 정제 및 라벨링: 신뢰성을 확보하기 위해 프롬프트된 LLM 분류기가 생성된 모든 예시를 재라벨링했습니다. 프롬프트는 수동으로 라벨링된 검증 세트에서 90% 이상의 정확도를 달성하도록 반복적으로 정제되었습니다. 데이터셋은 반대 라벨을 가진 쌍만 유지하도록 필터링되어 프로브가 구조적 유사성이 아닌 개념을 학습하도록 보장했습니다. 네 가지 개념이 선정되었습니다: 야망 (ambition), 수사 (investigation), 민주주의 (democracy), 질투 (envy).

2. 프로브 훈련 및 평가:

   • 훈련: 선형 프로브 (이진 분류기) 는 대상 LLM 의 다양한 계층에서 추출된 임베딩으로 훈련되었습니다. 저자들은 마지막 토큰 임베딩 ($N$-th) 과 계층 내 모든 임베딩의 평균이라는 두 가지 대표적인 임베딩 전략을 테스트했습니다.
   • 제어 작업: 프로브가 임베딩에 인코딩된 개념을 탐지하는지, 아니면 작업을 독립적으로 학습하는지 확인하기 위해 저자들은 제어 작업을 수행했습니다:
     • 무작위화: 무작위화된 임베딩이나 라벨로 훈련한 경우 정확도가 약 50% 로 하락하여, 프로브가 임베딩 내의 의미 있는 정보에 의존함을 확인했습니다.
     • 매개변수 축소: 프로브를 80 개 미만의 매개변수로 제한 (PCA 를 통해) 했습니다. 상당한 압축에도 불구하고 높은 정확도가 유지되어 임베딩이 특징을 강력하게 인코딩하고 있음을 시사했습니다.

3. 개념 추적 (증가와 감소):

   • 스토리 데이터셋: 저자들은 각 개념별로 50 개의 3 단락 스토리를 구성했습니다. 목표 개념은 단락을 연결하는 전환 문장에만 존재하고 그 외에는 부재하도록 설정되었습니다.
   • 동적 모니터링: 훈련된 프로브를 확장되는 입력 컨텍스트 (단어 단위) 의 임베딩에 적용했습니다. 이를 통해 컨텍스트가 진화함에 따라 개념 존재 확률이 어떻게 변동하는지, 특히 개념 신호의 '증가와 감소 (waxing and waning)'를 추적할 수 있었습니다.

주요 결과

• 개념 추론: 본 연구는 LLM(Llama-3-8B, Gemma-2, Qwen2.5 계열에서 테스트) 이 네 가지 목표 개념을 추론함을 확인했습니다. 프로브는 대부분의 계층에서 50% 를 훨씬 상회하는 정확도를 달성했으며, 평균 임베딩을 사용할 때 임베딩 계층 (레이어 0) 은 야망에 대해 놀랍게도 87% 의 높은 정확도를 보였습니다. 다만 이는 더 긴 컨텍스트에서는 적용되지 않았습니다.
• 프로브 효율성: 프로브는 매우 적은 매개변수로 강력한 성능을 달성했습니다. 야망의 경우 정확도는 40 개의 매개변수만으로도 75% 이상을 유지했으며, 80 개 매개변수 부근에서 정점에 도달했습니다. 이는 모델의 임베딩 차원 (Llama-3-8B 의 경우 4,096) 보다 훨씬 낮습니다.
• 추적 역동성: 프로브는 입력 컨텍스트가 확장됨에 따라 실시간으로 개념의 존재와 부재를 성공적으로 추적했습니다. 마지막 토큰 임베딩을 사용할 때, 프로브 출력은 텍스트에 개념이 존재하면 0.5 임계값 위로 상승하고 부재하면 그 아래로 하락했습니다. 반면, 누적 평균 임베딩은 신호를 희석시켜 이러한 역동성을 포착하지 못했으며, 이는 LLM 의 개념 추론이 단순한 단어 주머니 (bag-of-words) 표현 이상임을 시사합니다.
• 레이어 특이성: 서로 다른 모델에서 서로 다른 계층이 특정 개념을 추적하는 데 최적임이 발견되었습니다. 예를 들어, Llama-3-8B 에서 레이어 13 은 야망 추적에 가장 적합했고, 레이어 31 은 수사 추적에 가장 적합했습니다.

의의 및 주장
본 논문은 LLM 모니터링을 위한 광범위한 프로브 세트를 생성하는 능력에 대한 '첫걸음'을 내딛었다고 주장합니다. 주요 기여점은 다음과 같습니다:

1. 우연한 라벨 누출을 최소화하는 이진 데이터셋으로 개념을 경계 설정하기 위한 재현 가능한 반자동 방법론.
2. 최소한의 매개변수 (<80) 로 높은 정확도로 암시된 개념을 탐지할 수 있는 선형 프로브의 입증으로, 이는 계산적으로 저렴함.
3. 컨텍스트가 확장됨에 따라 개념의 동적인 '증가와 감소'를 추적할 수 있는 저비용 지속적 모니터링 도구로서 이러한 프로브의 활용 가능성에 대한 증거.
4. LLM 설명 가능성에 대한 추가 연구를 가능하게 하기 위해 생성된 데이터셋 (템플릿 및 개념별 예시) 공개.

저자들은 생성된 데이터가 특정 분포를 따를 가능성과 라벨링을 위한 LLM 기반 분류기에 대한 의존성과 같은 한계를 인정하며 겸손한 어조를 유지합니다. 그들은 현재 작업이 네 가지 개념에 초점을 맞추고 있지만, 이 과정을 확장하면 새로운 모델의 모니터링과 추론된 내부 개념과 생성된 출력 간의 인과 관계 탐구를 가능하게 하여 LLM 안전성과 설명 가능성을 발전시킬 수 있다고 주장합니다.