기술 요약: 인맥스 고정 (In-Context Fixation)

문제 제기

기존 연구 (Min et al., 2022) 는 무작위 시연 레이블이 인맥스 학습 (ICL) 성능에 미미한 영향을 미친다는 것을 입증했으나, 본 논문은 **인맥스 고정 (In-Context Fixation)**이라 명명된 치명적인 실패 모드를 규명합니다. 저자들은 시연물이 동질적인 레이블을 공유할 경우 (의미상 유효하더라도) 모델 정확도가 다양한 아키텍처와 작업 전반에 걸쳐 $\le$12% 로 붕괴됨을 보여줍니다.

중요하게도, 본 논문은 트리거가 레이블의 정확성이 아니라 레이블 슬롯 자체의 내용이라고 주장합니다. 모델은 시연물에서 레이블 위치를 차지하는 토큰들을 포괄적인 정답 어휘로 취급하는 것으로 보입니다. 이러한 행동은 Xie et al.(2022) 의 잠재 개념 베이지안 설명과 모순되는데, 해당 이론에 따르면 다양한 무의미한 레이블은 의미 추론이 회복될 수 있도록 확산된 사후 확률을 초래해야 하기 때문입니다. 대신 모델은 의미상 타당성을 무시하고 시연된 토큰 목록에 출력을 엄격하게 묶습니다.

방법론

본 연구는 행동 분석, 인과적 기계적 해석 가능성, 그리고 아키텍처 간 검증을 결합한 다면적 접근법을 사용합니다:

1. 실험 설정:

   • 작업: 네 가지 단일 토큰 이진 분류 작업 (범주, 감정, 온도, 크기) 및 4-방향 다중 클래스 분류.
   • 모델: Pythia, Llama, Qwen 세 계열에 속하는 0.8B 에서 8B 파라미터까지의 여섯 가지 기본 모델.
   • 조건:
     • 가든-패스 (Garden-Path, GP): 모든 8 개의 시연물이 테스트 정답과 반대되는 하나의 레이블을 공유함.
     • 다양한 무의미한 것 (Varied Nonsense): 시연물이 $\{foo, bar, vex, nit, orb\}$ 집합에서 다양한 무의미한 토큰을 사용함.
     • 멀티-토큰: "very positive"와 같은 구두사를 사용하여 형식 대 내용 고정을 분해함.
   • 지표: 정확도, 시연 집합 대 정답에 대한 확률 질량, 그리고 패칭을 통한 회복률.

2. 기계적 분석:

   • 항목별 쌍별 활성화 패칭 (Per-Item Paired Activation Patching): Pythia-1B 에서 제어 프롬프트 (올바른 레이블) 의 어텐션 레이어 활성화 값을 가든-패스 프롬프트로 교체하여 인과 회로를 식별하는 데 사용됨.
   • 로그잇 렌즈 (Logit Lens): Llama-3.2-1B 에 적용하여 레이어를 통한 로그잇의 진화를 추적하고 "인코딩 후 오버라이드" 궤적을 관찰함.
   • 직접 로그잇 귀속 (Direct Logit Attribution, DLA): 고정에 기여하는 특정 어텐션 헤드를 식별하기 위해 사용됨.

주요 기여

1. 작업 일반적 현상: 고정 효과는 네 가지 작업, 여섯 가지 모델, 세 가지 모델 계열 (0.8B–8B) 전반에 걸쳐 견고합니다. 모든 12 가지 작업 $\times$ 모델 조합에서 GP 정확도는 15% 미만으로 떨어지며, 균형 잡힌 제어 그룹 대비 64–100 퍼센트 포인트의 격차를 보입니다.
2. 집합 수준 고정 (제약된 어휘 검색): 본 논문은 고정이 단일 토큰이 아니라 전체 시연된 레이블 집합에서 작동함을 입증합니다. 다양한 무의미한 레이블이 있더라도 모델은 시연된 집합에 42–67% 의 확률을 집중시키고 의미상 올바른 정답을 억제합니다 ($P(dog) < 0.2\%$). 이는 모델이 잠재 개념에서 추론하는 대신 시연된 목록에서 검색함을 증명합니다.
3. 다중 클래스 및 멀티-토큰으로의 일반화:
   • 고정은 4-방향 분류로 확장되어 레이블이 동질적일 때 정확도를 0% 로 낮춥니다.
   • 멀티-토큰 구두사에서는 고정이 형식 수준 ("very X" 템플릿 채택) 과 내용 수준 (극성 오버라이드) 구성 요소로 분해되며, 이는 실험적으로 분리 가능합니다.
4. ICL 실패 모드에 대한 최초의 인과 회로:
   • Pythia-1B 에서 항목별 쌍별 패칭은 정확도 격자의 **98.4%**를 회복시킵니다.
   • 이 회로는 레이어 7 중심 회로 (특히 레이어 7, 10, 11 포함) 에 국한됩니다.
   • 단 4 개의 헤드 (3 개 레이어에 걸쳐) 의 희소 연합이 87.6% 회복을 달성하지만, 회로는 분산되어 있습니다 (중복 경로 존재).
5. 아키텍처 간 복제: Llama-3.2-1B 에 대한 로그잇 렌즈 분석은 인코딩 후 오버라이드 궤적을 확인합니다: 중간 레이어 (L9–L11) 는 올바른 정답을 인코딩하지만, 상부 레이어 (L12–L15) 는 가든-패스 조건 하에서 이를 오버라이드합니다. Llama 에 대한 항목별 패칭은 인과적 충분성을 확인합니다 (상위 5 개 레이어로 89% 회복).

결과

• 용량 - 반응: 오해의 소지가 있는 시연물의 수가 증가함에 따라 정확도가 단조롭게 감소합니다. Qwen3-8B 에서 단일 추가 오해의 소지가 있는 시연물 ($k=7$에서 $k=8$로 이동) 은 42% 에서 0% 로 거의 불연속적인 붕괴를 초래합니다.
• 집합 수준 경계: 올바른 레이블 (예: "dog") 이 시연된 집합에서 제외될 경우, 시연 레이블의 의미적 유효성과 관계없이 그 확률은 균형 잡힌 제어 그룹 대비 1.6–9.4$\times$만큼 억제됩니다.
• 최근성 편향: 마지막 위치 (위치 8) 에 있는 단일 교정 시연물은 일곱 개의 반대 시연물을 무시하고 고정을 완전히 역전시킬 수 있습니다 (0% $\to$ 100% 정확도).
• 보정 실패: 컨텍스트 보정 방법은 고정을 해결하지 못하며 40pp 의 잔여 격차를 남깁니다.
• 지시 미세 조정 (Instruction Tuning): 지시 미세 조정 모델은 원시 프롬프팅 하에서 고정을 보이지만, 채팅 템플릿은 일부 모델 (예: Llama-3.2-3B-Instruct) 에서 격차를 줄일 수 있어 이 효과가 프롬프트 포맷팅과 상호작용함을 시사합니다.

중요성 및 주장

본 논문은 ICL 출력이 의미 추론이나 잠재 개념 베이지안 업데이트가 아니라 제약된 어휘 검색임을 드러낸다고 주장합니다. 모델은 의미상 타당성과 관계없이 시연된 토큰 목록에 출력을 묶습니다.

• 기계적 통찰: "인코딩 후 오버라이드" 궤적은 ICL 실패에 대한 기계적 설명을 제공합니다: 모델은 중간 레이어에서 정답을 올바르게 계산하지만, 상부 레이어에서 시연된 레이블 집합을 선호하여 이를 폐기합니다.
• 이론적 함의: 이 발견은 ICL 을 순수한 암시적 베이지안 추론으로 보는 관점에 도전합니다. 이는 레이블 슬롯이 출력 분포의 지지집합을 정의하는 "슬롯 조건부 집합 검색" 메커니즘을 시사합니다.
• 실용적 함의: 저자들은 이를 배포된 시스템 (예: RAG 파이프라인, 에이전트 발판) 의 구체적인 신뢰성 실패 모드로 규명합니다. 그들은 시연 다양성이 중요하다고 제안하며, 구체적으로 프롬프트 끝에 단일 다양하고 올바르게 레이블된 시연물을 추가하면 이 효과를 완화할 수 있다고 주장합니다.
• 보안: 이 메커니즘은 적대자가 시연 선택을 통제할 때 레이블 동질성을 보장함으로써 모델 예측을 결정적으로 오버라이드할 수 있는 프롬프트 주입 공격 표면 (attack surface) 을 구성합니다.

본 논문은 8B 파라미터에서도 이 효과가 지속되지만, 특정 회로 아키텍처는 모델 (예: Pythia 대 Llama) 에 따라 다르며, 이 현상은 더 큰 모델과 추론 작업에서 추가 조사가 필요하다고 결론지었습니다.