How Language Models Process Negation

기술 요약: 언어 모델이 부정문을 처리하는 방식

문제 제기
대규모 언어 모델 (LLM) 은 부정문이 포함된 질문 (예: "양서류가 아닌 동물은 __입니다") 에 자주 실패하며, 올바른 부정된 개념 ("개") 대신 긍정적 개념 ("개구리") 을 출력하는 경우가 많습니다. 기존 기계적 해석성 (MI) 연구는 모델이 사실적 회상을 증거의 가산적 집계 (additive aggregation) 를 통해 처리함을 입증했으나, 부정은 이러한 패러다임에 부합하지 않습니다. 본 논문은 LLM 의 내부 메커니즘을 조사하여 모델이 부정문을 처리할 수 있는 능력을 보유하고 있는지, 그리고 그렇다면 왜 최종 출력에서 이러한 능력을 발현하지 못하는지 규명합니다. 저자들은 모델이 부정을 처리하는 방식에 관한 두 가지 경쟁 가설을 다룹니다: 억제 가설(모델이 관련 개념을 장려하고 부정된 토큰을 억제함) 과 구축 가설(모델이 "기체가 아님"을 "고체"에 해당하는 벡터로 표현하는 등 부정 구문에 대한 새로운 표현을 명시적으로 구축함).

방법론
본 연구는 "X 가 아닌 Y 는 Z 입니다" 형태의 648 개의 프롬프트로 구성된 통제된 데이터셋을 사용하며, Llama-3.1-8B, Mistral-7B, 다양한 OLMo2 체크포인트를 포함한 모델들을 활용합니다. 저자들은 관찰 및 인과적 해석성 기법들의 세트를 적용합니다:

1. 민감도 지표: 저자들은 정확도가 낮을지라도 모델이 내부적으로 긍정 및 부정 프롬프트를 구별하는지 여부를 판단하기 위해 로그이트 차이를 기반으로 한 민감도 지표를 정의합니다.
2. 어텐션 싱킹 (Attention Sinking): 어텐션 싱킹 현상에 영감을 받은 새로운 절단 (ablation) 방법입니다. 어텐션 헤드가 자신과 첫 번째 토큰에만 어텐션 하도록 제한함으로써 저자들은 특정 어텐션 모듈을 효과적으로 무효화합니다. 특정 지점부터 끝까지 모든 레이어를 절단하는 **누적 어텐션 싱킹 (Cumulative Attention Sinking)**을 적용하여 "단축 (shortcut)" 메커니즘이 존재하는 레이어를 식별합니다.
3. 패치 (Path Patching) 및 로짓렌스 (LogitLens): 이러한 기법들은 인과적 경로를 추적하는 데 사용됩니다. 패치 (Path Patching) 는 부정 프롬프트의 어텐션 출력을 긍정 프롬프트의 출력으로 대체하여 예측이 뒤집히는 현상을 관찰합니다. 로짓렌스 (LogitLens) 는 중간 은닉 상태를 어휘에 투영하여 내부 표현의 의미 내용을 해석합니다.
4. 희소 오토인코더 (SAEs): MLP 출력을 희소 잠재 특징으로 분해하여 부정된 개념을 장려하는 특정 뉴런을 식별할 수 있도록 합니다.
5. LLM 기반 주석: 외부 LLM(gpt-oss-120b) 을 사용한 자동화 파이프라인을 통해 내부 어텐션 헤드가 장려하는 토큰이 "Y 가 아님" 또는 원래 개념 "Y"와 의미적으로 관련이 있는지 여부를 라벨링합니다.

주요 발견

• 메커니즘의 공존: 본 논문은 LLM 이 부정문을 올바르게 처리할 수 있는 내부 메커니즘을 보유하고 있음을 입증하지만, 이러한 메커니즘은 종종 후속 레이어의 "단축" 메커니즘에 의해 가려짐을 보여줍니다.
• 단축 어텐션 헤드: 저자들은 모델 깊이의 50% 이상인 중간에서 후기 레이어에 위치하여 부정 프롬프트에서 긍정 답변을 장려하는 특정 어텐션 헤드를 식별합니다. 이러한 헤드는 논리적 부정 대신 ("양서류"와 "개구리"의 공출현과 같은) 허위 상관관계에 의존합니다. 어텐션 싱킹을 통해 이러한 헤드를 절단하면 부정 정확도가 크게 향상됩니다 (예: Llama-3.1-8B 에서 약 50% 에서 약 68% 로).
• 구축 중심 처리: 올바른 부정 처리의 주요 메커니즘은 억제가 아닌 구축입니다.
  • 초기/중기 레이어: 어텐션 헤드는 부정 토큰 ("아님") 의 표현을 부정당하는 개념 ("Y") 의 위치로 이동시킵니다.
  • 중기 레이어 구축: 인과적으로 중요한 어텐션 모듈 (Llama-3.1-8B 의 경우 약 14 번째 레이어) 은 명시적으로 부정된 표현 ($\bar{Y}$) 을 구축합니다. 로짓렌스 분석은 이러한 레이어가 80% 이상의 경우에서 부정된 개념과 의미적으로 관련된 토큰 (예: "기체가 아님"에 대한 "고체") 을 장려함을 보여줍니다.
  • 억제: 모델이 원래 개념 "Y"를 억제하기는 하지만, 이는 부정된 개념의 구축보다 덜 두드러집니다.
• MLP 의 역할: 후기 레이어의 MLP 는 구축된 부정된 표현을 증폭시켜 올바른 최종 답변을 장려합니다. SAE 분석은 이러한 부정된 개념을 직접 구현하는 특정 잠재 변수들을 드러냅니다.
• 사전 학습 기원: 실패를 초래하는 단축 메커니즘은 사전 학습의 초기 단계로 거슬러 올라가며, 이 시점에서 모델은 부정 프롬프트에 대해 긍정 답변을 선호하는 편향을 발달시킵니다.

주요 기여

1. 부정 실패의 진단: 저자들은 LLM 의 부정 실패가 내부 능력의 부재 때문이 아니라 후기 레이어에서 단축 메커니즘이 지배적이기 때문임을 보여줍니다.
2. 개입 방법: 추가 학습 없이 단축 행동을 완화하고 부정 정확도를 회복시키는 플러그 앤 플레이 개입으로서의 어텐션 싱킹 도입.
3. 기계적 설명: 구축과 억제를 모두 구현하되 구축이 지배적인 메커니즘임을 규명한 부정 처리에 대한 상세한 인과적 지도. 본 논문은 "아님"을 "Y"로 이동시키고 $\bar{Y}$를 구축하며 MLP 가 최종 답변을 장려하는 방식을 체계적으로 식별합니다.

의의
본 논문은 낮은 블랙박스 정확도가 유능한 내부 메커니즘의 존재를 가릴 수 있음을 주장합니다. LLM 이 경쟁하는 메커니즘들 (올바른 부정 처리 대 단축 휴리스틱) 의 앙상블임을 밝힘으로써, 이 연구는 모델 능력을 완전히 감사하기 위해 모델 내부를 철저히 검사할 필요성을 강조합니다. 이러한 발견은 LLM 이 어떻게 구성적 추론을 수행하는지에 대한 이해를 심화시키며, "구축"이 이전까지 가정된 것보다 부정 처리에 더 중심적인 계산 전략임을 시사합니다. 저자들은 이러한 경쟁적인 내부 메커니즘을 이해하고 완화함으로써 더 견고하고 신뢰할 수 있는 LLM 을 구축하는 데 기초를 제공한다고 결론지었습니다.