💬 NLP

Towards Mechanistically Understanding Why Memorized Knowledge Fails to Generalize in Large Language Model Finetuning

이 논문은 미세 조정된 거대 언어 모델에서 암기된 지식이 일반화에 실패하는 '알고 있음과 사용함 사이의 간극(Knowing–Using Gap)'을 조사하며, 셀프 패칭(self-patching) 개입을 통해 정렬되지 않은 내부 지식 회로가 효과적인 추론을 방해한다는 것을 밝히고 잠재적 일반화 성능의 58~75%를 회복하는 휴리스틱 전략을 제안한다.

원저자: Lu Dai, Ziyang Rao, Yili Wang, Hanqing Wang, Hao Liu, Hui Xiong

게시일 2026-07-10

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Lu Dai, Ziyang Rao, Yili Wang, Hanqing Wang, Hao Liu, Hui Xiong

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 방금 "시드니는 호주에 있다"라는 새로운 사실을 배운 아주 똑똑한 로봇 사서가 있다고 상상해 보세요. 당신이 "시드니는 어디에 있나요?"라고 묻자, 로봇은 완벽하게 대답합니다. 하지만 이어서 당신이 "시드니가 있는 나라의 수도는 어디인가요?"라고 묻자, 로봇은 마치 아무것도 모르는 것처럼 얼어붙어 버립니다.

이것이 바로 HKUST(GZ)와 HKUST의 연구진들이 해결하려고 노력 중인 바로 그 퍼즐입니다. 그들은 이를 **"아는 것과 사용하는 것 사이의 간극(Knowing–Using Gap)"**이라고 부릅니다. 이는 거대 언어 모델(LLM)이 새로운 정보를 분명히 암기했지만, 약간 더 복잡한 퍼즐을 풀기 위해 그 정보를 사용하는 데는 실패했을 때 발생하는 좌절스러운 순간을 의미합니다.

미스터리: 왜 로봇은 멈춰 서는가?

연구진은 이것이 로봇이 "잊어버렸거나" 논리를 파악할 만큼 너무 멍청해서 발생하는 문제가 아니라는 것을 발견했습니다. 사실 로봇은 답을 알고 있습니다. 단지 엉뚱한 방에 숨겨두었을 뿐입니다.

이를 이해하기 위해 로봇의 뇌를 거대한 다층 사무용 빌딩이라고 생각해 보세요.

초반 층 (레이어 1–10): 이곳은 로비나 우편실과 같습니다. 들어오는 패키지를 저장하는 데(사실을 암기하는 데) 탁월합니다.
중간 층 (레이어 10–20): 이곳은 복잡한 추론이 일어나는 "사고" 부서입니다.
상층부 (레이어 20–30): 이곳은 최종 보고서가 작성되어 발송되는 곳입니다.

로봇이 새로운 사실을 배울 때, 로봇은 정보를 로비나 상층부에 빠르게 쏟아붓습니다. 그곳은 안전하니까요! 하지만 중간에 있는 "사고 부서"에는 그 메모가 전달되지 않습니다. 그래서 로봇이 다단계 퍼즐(예: 시드니를 호주와 연결하고, 다시 호주를 그 수도와 연결하는 과정)을 풀려고 할 때, 정보는 엉뚱한 곳에 갇혀 있게 됩니다. 이는 마치 주머니에 도서 카드를 넣어두고 식료품점 계산대에서 사용하려는 것과 같습니다.

탐정 작업: "셀프 패칭(Self-Patching)"

그들은 어떻게 정보가 사라진 것이 아니라 단지 잘못 배치된 것뿐이라는 것을 증명했을까요? 그들은 **"셀프 패칭(Self-Patching)"**이라는 영리한 기술을 고안했습니다.

두 버전의 로봇이 나란히 실행되고 있다고 상상해 보세요.

로봇 A는 어려운 질문에 답하려고 노력하지만 실패하고 있습니다.
로봇 B는 "로비"에 정답을 저장하고 있습니다.

연구진은 로봇 B 속으로 손을 뻗어 "시드니는 호주에 있다"라는 특정 기억을 집어 들고, 그것을 로봇 A의 "사고 부서"로 물리적으로 옮겼습니다.

결과는 어땠을까요? 로봇 A는 즉시 문제를 해결했습니다!

이 실험은 정보가 결여된 것이 아니라, 단지 **정렬이 어긋나 있었음(misaligned)**을 보여주었습니다. 로봇은 데이터를 가지고 있었지만, 수학적 사고를 하기 위해 필요한 뇌의 적절한 경로로 데이터가 라우팅되지 않았던 것입니다. 연구진은 이를 **"지식-회로 불일치 가설(Knowledge–Circuit Misalignment Hypothesis)"**이라고 부릅니다.

이것이 "아닌" 것들

연구진은 다른 가능성들을 배제하기 위해 매우 신중했습니다.

지능의 부족이 아닙니다: 그들은 더 크고 똑똑한 모델들을 테스트했지만, 문제는 여전히 발생했습니다.
"프롬프팅"의 문제가 아닙니다: 그들은 로봇에게 힌트(예: "단계별로 생각하라"고 요청)를 주어 보았지만, 이는 아주 조금밖에 도움이 되지 않았습니다. 진짜 해결책은 질문을 더 잘하는 것이 아니라 메모를 옮기는 것이었습니다.
로봇이 새로운 논리를 배우는 것이 아닙니다: 로봇은 추론하는 방법을 배울 필요가 없었습니다. 단지 이미 알고 있는 사실에 접근하기만 하면 되었습니다.

좋은 소식: 간단한 해결책

가장 좋은 점은 무엇일까요? 연구진은 어떤 메모가 어떤 사실에 속하는지 정확히 알 필요 없이도 이 문제를 해결할 수 있는 방법을 찾아냈다는 것입니다.

그들은 "사고 부서"(중간 레이어)가 핵심이라는 점에 주목했습니다. 그들은 다음과 같은 간단한 규칙을 만들었습니다: "만약 로비나 상층부에 저장된 사실이 있다면, 그것을 중간 층으로 옮겨라."

그들은 이 간단한 규칙을 다양한 로봇 모델과 다양한 유형의 지식(생물학부터 학술 논문까지)에 대해 테스트했습니다.

이 해결책이 없을 때, 로봇은 추론 질문을 약 7%에서 18% 정도만 맞혔습니다.
이 "메모 이동" 규칙을 적용하자, 정답률이 **35%에서 45%**로 올라갔습니다.

이 간단한 기술은 로봇이 완벽하게 정렬되었을 때 달성할 수 있었던 잠재적 성공의 **58%에서 75%**를 회복시켜 주었습니다. 이것이 모든 것을 해결하는 마법 지팡이는 아니지만, 문제가 해결 가능하다는 것을 입증합니다.

요약

이 논문은 AI 모델이 학습한 내용을 사용하지 못할 때, 그것은 종로가 아니라 라우팅(경로 지정) 문제인 경우가 많다는 것을 보여줍니다. 사실들은 존재하며 뇌의 잘못된 구석에 안전하게 저장되어 있을 뿐입니다. 그 사실들을 "사고" 레이어로 옮겨줌으로써, 우리는 로봇이 점들을 연결하고 퍼즐을 풀 수 있도록 도울 수 있습니다.

연구진은 이제 미래의 훈련이 단순히 모델이 사실을 더 빨리 암기하도록 만드는 데 집중하는 것이 아니라, 그 사실들을 추론을 위한 적절한 장소로 라우팅하는 법을 가르치는 데 집중해야 한다고 제안합니다. 이는 "더 많이 가르치는 것"에서 "더 잘 조직하는 것"으로의 전환입니다.

기술 요약: 대규모 언어 모델 파인튜닝에서 암기된 지식이 일반화에 실패하는 이유에 대한 기계론적 이해를 향하여

1. 문제 정의: 아는 것과 사용하는 것 사이의 간극 (The Knowing–Using Gap)

본 논문은 대규모 언어 모델(LLM) 파인튜닝에서의 핵심적인 실패 모드, 즉 모델이 새로운 사실을 암기하는 능력과 그 사실을 다운스트림 추론에 활용하는 능력 사이의 불일치를 다룹니다. 저자들은 이를 **'아는 것-사용하는 것의 간극(Knowing–Using Gap)'**으로 공식화하며, 이는 두 가지 뚜렷한 격차로 특징지어집니다:

정확도 격차 (Accuracy Gap): 수렴 후에도 일반화 정확도(추론에 사실을 사용하는 능력)가 암기 정확도(직접 회상하는 능력)보다 현저히 낮게 유지됩니다.
시간적 지연 (Temporal Lag): 학습 과정에서 일반화 능력은 암기 능력보다 훨씬 늦게 나타납니다.

모델이 새로운 데이터를 학습할 수 있는 충분한 용량을 갖추었음에도 불구하고, 모델은 종종 "기억은 하지만 사용하지 못하는" 행동을 보입니다. 예를 들어, 모델은 특정 사실(예: "시드니는 호주에 있다")은 회상할 수 있지만, 이를 추론 작업(예: "시드니가 있는 국가의 수도는 어디인가?")에 연쇄적으로 연결하는 데는 실패합니다.

2. 방법론

이 간극의 기계론적 원인을 조사하기 위해 저자들은 데이터셋 구축, 인과적 개입(causal intervention), 그리고 동적 분석을 결합하여 연구를 수행했습니다.

데이터셋 구축:

저자들은 실세계의 반구조화된 지식 베이스인 STaRK를 변형하여 특화된 데이터셋을 구축하였으며, 교차 도메인 강건성을 확보하기 위해 생물 의학(STaRK-Prime) 및 학술(STaRK-MAG) 서브셋을 활용했습니다.
파인튜닝을 위한 암기 작업(Memorization Tasks)(단일 홉 QA)과 평가를 위한 **일반화 작업(Generalization Tasks)**을 정의했습니다.
두 가지 구체적인 일반화 작업 유형을 설계했습니다:
- 체이닝 (Chaining): 여러 단계의 추론(예: 엔티티 A → 관계 → 엔티티 B → 관계 → 엔티티 C)을 요구합니다.
- 교집합 (Intersection): 노이즈 속에서 여러 엔티티의 속성을 추출하고 공유된 관계를 기준으로 필터링하는 것을 요구합니다.
엄격한 신규성 검증을 통해 사전 학습된 모델들이 이 작업들에서 거의 0점에 가까운 점수를 기록함을 확인하였으며, 이를 통해 주입된 지식이 진정으로 새로운 것임을 확증했습니다.

셀프 패칭 개입 (Self-Patching Intervention):
핵-기여 방법론의 핵심은 활성화 패칭(activation patching)의 변형인 **셀프 패칭(Self-Patching)**입니다.

메커니즘: 이 기술은 '소스' 실행(사실을 알고 있는 경우)에서 앵커 토큰(예: 헤드 엔티티)의 은닉층 표현을 복사하여, 특정 타겟 레이어의 '타겟' 실행(모델이 일반화에 실패하는 경우)에 대체 삽입합니다.
목적: 모든 레이어 쌍 $(l_{src}, l_{tgt})$ 를 스캔함으로써 공간적 침투 맵(spatial permeation map)을 생성합니다. 이는 주입된 지식을 포함하는 표현이 모델 내에 존재하지만, 추론에 필요한 계산 효율적인 레이어로 제대로 라우팅되지 못하고 있는 것인지 확인하기 위함입니다.
차별점: 인과적 추적(causal tracing)과 달리 셀프 패칭은 '깨끗한' 정답 궤적이 필요하지 않아 일반화에 실패한 사례에도 적용 가능합니다. 또한 PatchScope와 달리 보조 디코딩을 통한 소스의 해석이 아니라 타겟 프롬프트의 정확성에 집중합니다.

3. 주요 발견 및 결과

지식-회로 미정렬 가설 (The Knowledge–Circuit Misalignment Hypothesis):
저자들은 '아는 것-사용하는 것의 간극'이 지식 저장과 추론 회로 사이의 **공간적 미정렬(spatial misalignment)**에 의해 발생한다고 제안합니다.

저장 vs. 계산: 파인튜닝은 직접적인 회상을 지원하는 '저장 지향적' 상태(주로 초기 또는 매우 후기 레이어)에 새로운 사실을 인코딩합니다. 그러나 이러한 표현들은 다단계 추론에 필요한 '계산 효율적' 중간 레이어로 안정적으로 라우팅되지 않습니다.
그래디언트 소실 (Gradient Vanishing): 암기가 포화 상태에 도달하면 손실(loss)이 감소하여 그래디언트가 소실됩니다. 결과적으로 모델은 저장된 지식을 추론 회로와 정렬시키기 위해 내부 라우팅을 자연스럽게 업데이트하는 데 실패하며, 지식이 "고립(stranded)"된 상태로 남게 됩니다.

실증적 증거:

침투 역학 (Permeation Dynamics): 셀프 패칭 점수의 히트맵을 보면, 암기 후에는 "오프-디아고날(off-diagonal)" 영역에 붉은색 영역(특정 레이어에 지식이 존재함을 나타냄)이 나타나는 반면, 대각선 셀은 여전히 푸른색(엔드 투 엔드 실행 실패를 나타냄)으로 남습니다. 성공적인 일반화 사례에서는 붉은 영역이 대각선을 덮도록 확장되지만, 실패하는 경우에는 대각선에 도달하기 전에 멈춥니다.
오라클 복구 (Oracle Recovery): 셀프 패칭을 통해 표현을 수동으로 효과적인 중간 레이어로 이동시켰을 때, 다운스트림 사용 정확도가 극적으로 향상되었습니다.
- 체이닝 작업: 오라클 셀프 패칭은 모든 모델과 도메인에서 정확도를 1.5~6배 증가시켰습니다.
- 교집합 작업: 격차가 거의 제거되었습니다.
공간적 클러스터 (Spatial Clusters): 가장 효과적인 패칭 위치는 두 개의 클러스터를 형성했습니다: 초기 레이어에서 중간 레이어로 이동시키는 것과 후기 레이어에서 중간 레이어로 이동시키는 것입니다. 이는 병목 현상이 정보의 출현 문제가 아니라, 중간 레이어의 추론 스트림과의 정렬 문제임을 시사합니다.

실용적 휴리스틱 (Practical Heuristic):
진단 도구를 넘어, 저자들은 관찰된 공간적 클러스터(약 0.5L에서 약 0.1L 및 약 0.8L를 대상으로 함)를 기반으로 한 고정 휴리스틱 전략을 설계했습니다.

이 비-오라클(non-oracle) 전략은 오라클의 성능 잠재력(headroom) 중 **58~75%**를 회복하였으며, 이는 일반화 실패가 개별 인스턴스 검색 없이도 부분적으로 가역적임을 입증합니다.

절제 연구 (Ablation Studies):

토큰 위치: 성능 향상은 무작위 위치나 일반적인 토큰이 아닌, 헤드-엔티티(head-entity) 위치에서의 패칭과 밀접하게 연관되어 있습니다.
프롬프팅 vs. 패칭: 사고 사슬(Chain-of-Thought, CoT) 프롬프팅은 성능을 개선하지만 셀프 패칭의 이득에는 훨씬 못 미치며, 때로는 성능을 저하시키기도 합니다. 무관한 패칭(관련 없는 사실의 표현 사용)은 미미한 이득만을 보여, 이 효과가 주입된 지식 표현에 특이적임을 확인시켜 줍니다.
규모 독립성: 이 현상은 다양한 모델 크기(1B ~ 8B)와 파인튜닝 방법(FFT vs. LoRA) 전반에 걸쳐 지속되며, 이는 이것이 용량 제한이 아닌 구조적 정렬 문제임을 나타냅니다.

4. 의의 및 주장

본 논문은 파인튜닝에서의 일반화 실패를 학습 능력의 부족이 아니라 **다룰 수 있는 정렬 문제(tractable alignment problem)**로 재정의한다고 주장합니다.

기계론적 통찰: 저자들은 주입된 지식이 내부에 존재하지만 잘못 라우팅되어 추론에 필요한 계산 레이어에 도달하지 못한다는 인과적 증거를 제공합니다.
진단적 유용성: 셀프 패칭 기술은 모델이 자연스럽게 일반화에 실패하는 경우에도 주입된 지식이 어디에서 인과적으로 사용 가능한지를 매핑하는 도구 역할을 합니다.
실용적 시사점: 연구 결과는 "정렬 인식(alignment-aware)" 학습이나 사후 정렬 전략이 암기와 일반화 사이의 간극을 메울 수 있음을 시사합니다. 본 논문은 단순한 고정 휴리스틱이 손실된 일반화 능력의 상당 부분을 회복할 수 있음을 보여줌으로써, 순수 진단을 넘어 실질적인 해결책으로 나아갑니다.

저자들은 '아는 것-사용하는 것의 간극'이 도메인과 아키텍처를 가리지 않는 견고한 현상이며, 저장된 표현을 추론 회로와 자연스럽게 정렬시키지 못하는 파인튜닝의 한계에 의해 발생한다고 결론짓습니다.