Single-Position Intervention Fails: Distributed Output Templates Drive In-Context Learning

본 논문은 선형 프로빙이 시사하는 바와 같이 인-컨텍스트 학습의 작업 정체성이 특정 층이나 토큰에 국한되지 않으며, 대신 30% 네트워크 깊이 부근의 중요한 개입 창구를 통해 데모 토큰 전반에 걸쳐 분산된 출력 형식 템플릿으로 인과적으로 인코딩됨을 보여준다.

핵심

거대 언어 모델 (챗봇을 구동하는 모델과 같은 것) 을 거대한 다층 공장으로 상상해 보세요. 작업의 몇 가지 예시 (예: "이 단어를 대문자로 변환하세요") 를 입력하면 모델은 규칙을 파악하고 새로운 질문에 적용하려고 시도합니다. 이를 **맥락 학습 (In-Context Learning, ICL)**이라고 합니다.

오랜 기간 동안 과학자들은 이 공장의 "규칙"이 어디에 저장되어 있는지 알고 있다고 믿었습니다. 그들은 "프로브 (probe)"라는 도구 (금속 탐지기와 유사) 를 사용했는데, 이는 큰 소리로 "예, '대문자' 규칙이 바로 여기에 있습니다!"라고 알리는 역할을 했습니다. 그들은 공장의 특정 층의 특정 위치에서 이러한 신호를 발견했습니다.

큰 놀라움: 금속 탐지기는 거짓말쟁이다
이 논문의 저자들은 그 신호들이 실제로 중요한 의미를 갖는지 테스트하기로 결정했습니다. 그들은 "수술" 실험을 시도했습니다. 금속 탐지기가 규칙이 있다고 말한 정확한 위치로 가서 해당 정보를 제거하고 다른 것으로 대체했습니다.

• 결과: 아무 일도 일어나지 않았습니다. 공장은 수술을 완전히 무시한 채 완벽하게 작동했습니다.
• 비유: 자동차 엔진이 단일 빨간 와이어에 의해 제어된다고 상상해 보세요. 그 와이어를 잘라 자동차가 멈추길 기대합니다. 대신 자동차는 계속 주행합니다. 엔진이 하나의 와이어로 제어되는 것이 아니라 신호가 수천 개의 와이어에 분산되어 있다는 것이 밝혀진 것입니다. 하나만 잘라도 자동차는 개의치 않습니다.

실제 발견: "분산된 템플릿"
연구자들은 "규칙"이 한 곳에 저장되어 있지 않다는 것을 깨달았습니다. 그것은 모델에 제공된 모든 예시에 흩어져 있는 퍼즐과 같습니다.

1. 단일 위치 실패: 퍼즐 조각 중 하나 (예시의 한 단어) 만 교체하려고 하면 모델은 눈치채지 못합니다. 그림을 파악할 수 있는 너무 많은 다른 조각들이 있기 때문입니다.
2. 다중 위치 돌파: 하지만 퍼즐의 모든 조각을 동시에 교체하면 (예시의 모든 출력 단어), 모델은 생각을 바꿉니다. 새로운 규칙을 따르기 시작합니다.

공장의 "적정 지점"
연구자들은 이 "퍼즐 교체"가 공장의 특정 층에서만 작동한다는 것을 발견했습니다.

• 너무 빠름 (1~7 층): 퍼즐 조각들이 아직 조립되지 않았습니다; 패턴이 명확하지 않습니다.
• 너무 늦음 (15 층 이상): 공장은 이미 자동차를 제작하고 주행 중입니다; 이제 청사진을 바꾸는 것은 너무 늦었습니다.
• 적절함 (8 층): 이것이 "결정 창구 (commitment window)"입니다. 공장이 설계를 최종화하지만 아직 제작을 시작하지 않은 곳입니다. 여기서 청사진을 교체하면 공장은 새로운 자동차를 제작합니다.

실제로 무엇이 전달되는가?
이 논문은 모델이 작업의 의미 (예: "이것은 감정에 관한 것입니다") 를 학습하는 것이 아니라 답변의 형태를 학습한다는 것을 발견했습니다.

• 비유: 모델에게 시를 쓰는 법을 가르친다고 상상해 보세요. 예시를 다른 유형의 시 (예: 운율 있는 연시에서 하이쿠로) 로 바꾸더라도 주제가 같더라도 모델은 전환하지 않습니다.
• 발견: 모델은 오직 "템플릿"만 복사합니다. 예시가 "단어, 단어, 단어"를 보여준다면, 모델은 새로운 작업이 "단어, 단어, 단어"처럼 보일 때만 새로운 작업으로 전환합니다. 단어들이 고양이인지 숫자인지에는 관심이 없으며, 구조가 일치하는지 여부만 중요하게 생각합니다.

쿼리 대 예시
이 논문은 재미있는 비대칭성도 발견했습니다:

• 예시 (데모): 이들은 "재료"와 같습니다. 요리를 만들기 위해 모든 재료가 필요합니다. 하나가 빠지더라도 다른 재료들이 보완해주기 때문에 레시피는 여전히 작동합니다. 하지만 모든 재료를 교체하면 요리가 완전히 바뀝니다.
• 질문 (쿼리): 이는 레시피를 읽는 "셰프"입니다. 셰프의 지시사항 (질문 부분) 을 망치면 전체가 실패합니다. 셰프는 필수적이지만, 셰프가 레시피를 가지고 있는 것이 아니라 재료가 가지고 있습니다.

쉬운 영어로 요약

1. 금속 탐지기를 신뢰하지 마세요: 모델이 한 곳에서 규칙을 찾을 수 있다고 해서 그 위치가 중요하다는 뜻은 아닙니다.
2. 규칙은 여기저기에 있습니다: "작업 정체성"은 한 곳에 고정된 것이 아니라 모든 예시 답변에 분산되어 있습니다.
3. 타이밍이 중요합니다: 모델의 생각을 바꾸려면 사고 과정의 중간에서만 할 수 있으며, 시작이나 끝에서는 할 수 없습니다.
4. 의미가 아니라 형태입니다: 모델은 작업의 깊은 논리를 이해하는 것이 아니라 답변의 형식 (템플릿과 같은) 을 복사합니다.

이 논문은 본질적으로 이러한 AI 모델이 예시로부터 학습하는 방식의 지도를 다시 그렸으며, 작업의 "두뇌"가 단일 스위치가 아닌 분산되고 오류 허용이 가능한 네트워크임을 보여줍니다.

기술 요약

기술적 요약: 분산 출력 템플릿이 문맥 내 학습을 주도함

문제 제기

소수 샷(few-shot) 데모로부터 대형 언어 모델(LLM)이 작업 정체성을 어떻게 인코딩하는지 이해하는 것은 기계적 해석 가능성 분야에서 여전히 핵심적인 미해결 문제입니다. 기존 연구는 주로 작업 표현을 국소화하기 위해 선형 프로빙에 의존해 왔으며, 특정 계층과 위치에서 높은 분류 정확도를 보고했습니다. 그러나 해독 가능성(프로브가 정보를 추출할 수 있는 능력)과 인과적 관련성(해당 정보가 모델 행동을 주도하는지 여부) 사이에는 중요한 간극이 존재합니다. 본 논문은 이전 연구에서 관찰된 높은 프로빙 정확도가 문맥 내 학습 (ICL) 작업 정체성에 대한 인과적 통제력으로 이어지는지 조사합니다.

방법론

저자들은 Llama-3.2-3B-Instruct 에서 활성화 개입 실험을 수행하고, Llama-3.2-1B, Qwen2.5-1.5B, Gemma-2-2B 등 세 가지 다른 모델에서 결과를 재현했습니다. 이 연구는 ICL 프롬프트 내의 세 가지 위치 유형을 구분합니다: 데모 입력, 데모 출력, 그리고 쿼리.

1. 프로빙: 작업 정체성의 해독 가능성을 측정하기 위해 모든 (계층, 위치) 쌍에서 최근접 중심점 분류기를 훈련합니다.
2. 단일 위치 개입: 목표 프롬프트의 단일 (계층, 위치) 쌍에서 활성화 벡터를 소스 작업의 평균 활성화로 대체합니다. 이는 작업 정체성이 국소화되어 있는지 테스트합니다.
3. 다중 위치 개입: 모든 데모 출력 토큰의 활성화가 동시에 대체됩니다. 이는 작업 정체성이 분산되어 있는지 테스트합니다.
4. 인과적 추적: 특정 위치에 가우시안 노이즈를 주입하여 필요성(교란율)을 측정하고, 이식 실험을 통해 충분성(전달율)을 측정합니다.
5. 포맷 호환성 분석: 동일한 연산이지만 다른 출력 포맷 (예: "WORD" 대 "WORD.") 을 가진 작업 변형을 생성하여 전달이 추상적 규칙에 의존하는지 표면적 템플릿에 의존하는지 확인합니다.

주요 기여 및 결과

1. 단일 위치 개입의 실패

28 개 계층 전체에서 데모 위치에서 100% 프로빙 정확도를 달성하고 쿼리 위치에서 **83%**를 달성했음에도 불구하고, 단일 위치 개입은 모든 계층에서 0% 작업 전달을 달성합니다. 제로 및 무작위 제거와 같은 통제 실험은 단일 위치가 인과적으로 필요하지 않으며 모델이 단일 위치 교란을 완전히 무시함을 확인시켜 줍니다. 이는 작업 인코딩이 근본적으로 분산되어 있고 내결함성을 가진다는 것을 보여줍니다.

2. 다중 위치 개입의 돌파구

저자들은 작업 정체성이 동시 다중 위치 개입을 통해서만 인과적으로 전달될 수 있음을 밝혀냈습니다.

• 최적 창구: 28 계층 모델의 경우 8 계층(약 네트워크 깊이의 30%)에서 전달이 정점에 도달하여 포맷 호환 쌍의 경우 96% 전달(95% 신뢰구간: [87%, 99%])을 달성합니다.
• 위치 특이성: 데모의 출력 토큰을 대체할 때 94% 전달이 이루어지는 반면, 입력 토큰을 대체할 때는 0%입니다. 모든 데모 토큰 (입력 + 출력) 을 대체할 때 96%로, 출력 토큰이 주요 신호를 운반함을 나타냅니다.
• 임계값 효과: 전달은 점진적이지 않습니다. 13 개 위치를 대체할 때 전달은 0%이며, 약 10 개 위치를 대체할 때 10%, 모든 위치를 대체할 때 약 90%입니다. 마찬가지로 13 개의 소스 데모는 0% 전달을 보이지만, 5 개는 93% 전달을 보입니다.

3. 인과적 비대칭성: 쿼리 대 데모

노이즈 주입을 통한 인과적 추적은 놀라운 비대칭성을 드러냅니다:

• 쿼리 위치: 엄격하게 필수적(014 계층에서 노이즈가 주입될 때 53100% 교란) 이지만 충분하지 않음(이식 시 0% 전달).
• 데모 위치: 개별적으로는 필수적이지 않음(노이즈 시 0% 교란) 하지만 집단적으로 충분함(모두 대체 시 96% 전달).
  이는 초기 계층이 분산된 템플릿을 인코딩하고, 중간 계층이 이 정보를 쿼리로 집계하며, 후기 계층이 출력 생성에 착수하는 단계별 파이프라인을 시사합니다.

4. 분산 템플릿 가설

전달은 표면적 유사성이 아닌 내부 표현 호환성에 의존합니다.

• 포맷 민감성: 동일한 연산이지만 다른 출력 포맷 (예: "WORD" 대 "WORD.") 을 가진 작업은 0% 전달을 보입니다. 반면, 구조적으로 유사한 템플릿 (예: "word word" 대 "word, word") 을 가진 작업은 90% 전달을 보입니다.
• 토큰 수 호환성: 전달은 출력 토큰 수의 호환성에 의해 주도됩니다. 예를 들어, uppercase(1 토큰) 는 linear 2x(1 토큰) 로 100% 전달되지만, repeat word(2 토큰) 는 repeat n(3 토큰) 으로 전달되지 않습니다.
• 예측 가능성: 56 개 작업 쌍 중 7 개 (13%) 만 50% 이상의 전달을 달성합니다. 이들은 단일 토큰 또는 반복 토큰 출력 구조를 가진 경직된 절차적 작업의 클러스터를 형성합니다. 의미적 작업은 작업 간 전달이 거의 0% 에 가깝습니다.

중요성 및 주장

본 논문은 분산 템플릿 가설을 정립합니다: ICL 작업 정체성은 국소화된 벡터나 추상적 규칙으로 인코딩되는 것이 아니라, 데모 토큰에 분산된 출력 포맷 템플릿으로 인코딩됩니다.

• 기계적 통찰력: 이 발견은 해독 가능성과 인과적 관련성 사이의 모호성을 해소하여, 높은 프로빙 정확도가 인과적 통제를 의미하지 않음을 보여줍니다.
• 아키텍처 특이성: 약 30% 깊이에서의 최적 개입 창구는 LLaMA, Qwen, Gemma 아키텍처 전반에 걸쳐 보편적인 특징으로 나타나며, 집계 전에 템플릿이 인코딩되는 일반적인 트랜스포머 처리 단계를 시사합니다.
• 조작에 대한 함의: ICL 을 위한 효과적인 활성화 조작은 단일 벡터 편집이 아닌, 초기 - 중간 계층에서의 조정된 다중 위치 교체를 필요로 합니다.
• ICL 의 본질: 이 결과는 많은 작업에 대해 모델이 추상적인 입력 - 출력 관계를 추론하는 대신, 특히 절차적 작업의 경우 출력 템플릿을 매칭하여 작동함을 시사합니다.

저자들은 메커니즘이 일반적이지만, 성공적인 전달은 소스 및 목표 출력 포맷 간의 엄격한 구조적 호환성에 의해 제한되며, 표면적 유사성이나 무작위 주입 아티팩트에 기반한 사소한 설명은 배제된다고 결론지었습니다.