A Theory of Conditional Collapse under Low-Rank Weight-Space Ablations: I. The Single-Block Theory and Synthetic Validation

탐정의 딜레마: 우리가 AI의 두뇌를 이해하려고 노력하는 방법

당신에게 이야기를 들려주거나, 수학 문제를 풀거나, 시를 쓸 수 있는 거대하고 복잡한 기계가 있다고 상상해 보세요. 당신은 이것이 어떻게 작동하는지 알고 싶습니다. 중간에 있는 톱니바퀴 때문일까요? 아니면 꼭대기에 있는 스프링 때문일까요? 이를 알아내기 위해 과학자들은 두 가지 주요 기술을 사용합니다. 첫 번째는 **활성화 패칭(Activation Patching)**과 같습니다. 기계가 이야기를 진행 중이라고 가정하고, 잠시 멈춘 뒤 특정 톱니바퀴를 다른 이야기에서 가져온 톱니바퀴로 교체해 보는 것입니다. 그리고 이야기가 변하는지 확인합니다. 만약 이야기가 변한다면, 그 톱니바퀴는 중요한 것이었습니다. 두 번째 기술은 **가중치 공간 절제(Weight-Space Ablation)**입니다. 기계를 멈추는 대신, 드라이버를 들고 해당 톱니바퀴를 영구적으로 제거하거나 "0"으로 만드는 것입니다. 그런 다음 기계를 다시 실행합니다. 만약 이야기가 망가진다면, 그 톱니바퀴는 중요한 것이었습니다.

오랫동안 과학자들은 이 두 가지 기술이 같은 이야기를 들려줄 것이라고 기대했습니다. 만약 어떤 부품이 특정 순간에 중요하다면(패칭), 그것이 기계의 전체적인 설계에서도 중요할 것(절제)이라고 가정했습니다. 하지만 인공지능의 세계에서 상황은 그렇게 단순하지 않은 경우가 많습니다. 때때로 기계에는 백업용 톱니바퀴가 너무 많아서, 이야기 중간에 톱니바퀴를 바꾸면 재앙이 일어나더라도 정작 하나를 제거했을 때는 아무런 문제도 발생하지 않기도 합니다. 이 논문은 핵심적인 질문을 던집니다. 언제 이 두 가지 탐정 방법이 일치하며, 언제 우리를 속이는가? 저자는 단순히 추측하는 데 그치지 않고, 왜 이 방법들이 서로 다를 수 있는지 정확히 증명하기 위해 수학적 모델을 구축했으며, 이 수학이 실제 세계에서도 유효한지 확인하기 위해 아주 작은 가상의 AI 두뇌들을 테스트했습니다.

---

논문: 왜 두 가지 탐정 방법이 서로 다를 수 있는가

A Theory of Conditional Collapse under Low-Rank Weight-Space Ablations라는 제목의 이 논문은 AI 모델이 결정을 내리는 메커니즘을 깊이 있게 파고듭니다. 저자인 압달라 케마이스(Abdallah Khemais)는 AI를 신비로운 블랙박스가 아니라, 서로 섞이고 있는 수학적 재료들의 집합으로 취급합니다. 저자는 AI가 "빨간색" 토큰을 보면 한 가지 행동을 하고, "파란색" 토큰을 보면 다른 행동을 하는 "조건부 연산(conditional computation)"이라는 특정 유형의 AI 행동에 집중합니다.

세 가지 주요 발견

이 논문은 단순화된 수학적 모델을 사용하여 세 가지 주요 사항을 증명하고, 이 현상들이 실제 훈련된 AI 모델에서도 발생하는지 확인합니다.

1. "완벽한 붕괴" (부품을 제거하면 AI가 잊어버리는 경우)
AI가 두 가지 경로 사이에서 결정하고 있다고 상상해 보세요. 경로 A(역전된 경로)와 경로 B(리터럴 경로)입니다. 저자는 특정 "운반자(carriers)"(결정을 전달하는 AI의 부분들)를 제거하면, AI가 갑자기 경로 A와 경로 B의 차이를 잊어버릴 수 있음을 증명합니다. 즉, AI가 단일한 무조건적 답변으로 붕괴됩니다.

• 주의점: 이는 제거가 완벽하게 균형을 이룰 때만 발생합니다. 만약 경로 A 쪽으로 AI를 밀어붙이는 부분을 제거한다면, 경로 B 쪽으로 밀어붙이는 부분 또한 정확히 같은 강도로 제거해야 합니다. 만약 균형이 깨지면, AI는 붕s괴되는 것이 아니라 혼란에 빠지게 됩니다.
• 실제 테스트: 저자는 키(key)와 값(value)을 기억해야 하는 게임을 통해 아주 작은 AI 모델들을 훈련시켰습니다. 그 결과, 어떤 경우에는 한 부분을 제거했을 때 AI가 잘못된 경로를 선택하게 만들었지만, 다른 조합의 부품들을 제거했을 때는 반대 방향의 잘못된 경로를 선택하게 만든다는 것을 발견했습니다. 이 "극성 반전(polarity reversal)"은 AI가 단순히 무작위로 실패하는 것이 아니라, 수학이 예측한 대로 매우 구체적이고 예측 가능한 방식으로 붕괴되었음을 입증했습니다.

2. "패치 vs 절제"의 불일치 (중복성의 함정)
이것은 이 논문에서 가장 흥미롭고 놀라운 발견입니다. 저자는 **활성화 패칭(Activation Patching)**과 **가중치 절제(Weight Ablation)**가 완전히 다른 것을 측정한다는 것을 보여줍니다.

• 비유: 다섯 명의 팀원이 무거운 상자를 운반하고 있다고 상상해 보세요. 만약 당신이 "누가 혼자서도 상자를 들 수 있을 만큼 강한가?"라고 묻고 한 명을 아주 힘센 거인으로 교체한다면(패칭), 상자는 방 저편으로 날아갈 것입니다. 그 사람은 "충분한(sufficient)" 사람입니다. 하지만 만약 당신이 "누가 필수적인가?"라고 묻고 팀원 중 한 명을 조용히 제거한다면(절제), 나머지 네 명이 부족한 부분을 채울 수 있고 상자는 떨어지지 않을 수도 있습니다.
• 발견: 논문은 수학적으로 당신이 모든 단일 구성원이 상자를 혼자서도 들 수 있는 상황(즉, 누구든 교체하면 결과가 바뀌는 상황)을 가질 수 있지만, 동시에 그 어떤 단일 구성원도 필수적이지는 않은 상황(즉, 누구를 제거해도 아무 일도 일어나지 않는 상황)을 가질 수 있음을 증명합니다.
• 결과: 실험에서 저자들은 특정 구성 요소를 교체했을 때는 AI의 결정을 완전히 뒤집어버리지만(회복 비율이 1보다 큰 경우, 즉 목표치를 초과함), 동일한 구성 요소를 제거했을 때는 AI가 여전히 완벽하게 작동하는 것을 발견했습니다. 이는 왜 어떤 AI 부품이 한 테스트에서는 영웅처럼 보이고, 다른 테스트에서는 쓸모없는 장식품처럼 보이는지를 설명해 줍니다.

3. "숨겨진 상호작용" (부품들이 서로 대화할 때)
단순화된 수학 모델은 모든 AI 부품이 마치 샐러드의 개별 재료처럼 독립적으로 작동한다고 가정합니다. 하지만 실제 AI 모델에서 부품들은 종종 서로 소통합니다. 구체적으로, 저자는 동일한 레이어 내에서 "어텐션 헤드(Attention Head)"(다른 단어를 바라보는 부분)가 "MLP"(결과를 처리하는 부분)와 어떻게 상호작용하는지 살펴보았습니다.

• 수학: 저자는 어텐션 헤드를 제거하면 MLP의 입력값이 변하게 되어, 단순한 모델이 무시하는 "파급 효과(ripple effect)" 또는 "상호작용 항(interaction term)"이 발생한다는 정밀한 공식을 도출했습니다.
• 증명: 저자는 만약 MLP 만 제거한다면 이 파급 효과가 사라진다는 것을 보여주었습니다(수학적으로 정확함). 하지만 어텐션 헤드를 제거하면, 파급 효과는 실재하며 측정 가능합니다.
• 실험: 저자는 AI 모델에서 이 "상호작용 크기(interaction magnitude)"를 측정했습니다. 그 결과 강력한 음의 상관관계(Spearman rank -0.83)를 발견했습니다. 즉, 숨겨진 상호작용이 클수록 단순한 모델의 예측 정확도는 낮아졌습니다.

"앗" 하는 순간: 마법의 임계값은 없다

여기서 논문은 매우 정직하고 과학적인 태도를 취합니다. 처음에 저자는 단순한 모델이 작동할 때와 실패할 때를 나누는 "마법의 숫자"나 명확한 경계선을 찾을 수 있을 것이라고 생각했습니다. 14개의 특정 설정을 조사했을 때, 어떤 설정은 상호작용이 전혀 없었고 어떤 설정은 상호작용이 높았으며, 모델이 완벽하게 작동하는 것을 보고 명확한 간극을 보았습니다.

하지만 그 후, 25개의 추가적인 설정(샘플 외 데이터)을 테스트했습니다. 처음 보았던 깨끗한 간극은 사라졌습니다. 실패할 것으로 보였던 설정이 작동하기도 하고, 그 반대의 경우도 있었습니다.

• 결론: 저자는 단순한 모델이 얼마나 틀릴지를 예측하는 데 있어 '상호작용의 크기'가 훌륭한 예측 변수이긴 하지만, "이것은 안전하고 저것은 위험하다"라고 말할 수 있는 단일한 "컷오프 숫자"는 존재하지 않는다고 인정했습니다. 관계는 스위치 같은 것이 아니라 매끄러운 곡선입니다. 저자는 처음에 보았던 "명확한 구분"이 작은 샘플 크기로 인한 우연이었을 가능성이 높으며, 실제 세상은 더 복잡하다는 점을 명시했습니다.

이것이 왜 중요한가

이 논문은 단순히 "AI는 어렵다"라고 말하는 데 그치지 않습니다. 우리의 이해를 방해할 수 있는 도구들이 왜 오해를 불러일으킬 수 있는지에 대한 정밀한 지도를 제공합니다.

• AI 부품이 제거했을 때 "필요 없는 것"처럼 보인다면, 그것은 그 부품이 중요하지 않아서가 아니라 AI가 중복성을 가지고 있기 때문일 수 있음을 알려줍니다.
• AI를 이해하고 싶다면, 단 하나의 방법(예: 패칭 또는 절제)에만 의존해서는 안 되며, 그 둘이 어떻게 다른지에 대한 수학적 차이를 이해해야 함을 알려줍니다.
• 가장 중요한 것은, 모델을 단순화했을 때 얼마나 많이 실패할지는 예측할 수 있지만, 아직 단순한 Yes/No 규칙을 통해 정확히 언제 실패할지는 예측할 수 없다는 점을 보여준다는 것입니다.

저자는 "이상적인 모델(단순한 수학)"은 강력한 도구이지만, 알려진 오차 항을 가지고 있다고 결론짓습니다. 이 오차 항을 측정함으로써, 우리는 AI의 중복성에 속지 않고 AI가 실제로 무엇을 하고 있는지에 대해 훨씬 더 명확한 그림을 얻을 수 있습니다. 이는 AI를 이해하려는 여정에서 진실은 스위치(on/off)가 아니라 그래디언트(연속적인 변화)인 경우가 많다는 점을 상기시켜 줍니다.