기술 요약: LLM에서 사실적 정보 검색(Factual Retrieval)은 중복적이고, 분산되어 있으며, 비연속적인 과정이다

문제 정의

대규모 언어 모델(LLM)은 사실적 지식을 저장하고 회상하는 능력(예: "안겔라 메르켈의 모국어는"이라는 문구에 대해 "독일어"를 예측하는 것)을 입증적으로 보여주지만, 엔티티 표현(entity representations)이 특정 속성 검색을 가능하게 하기 위해 어떻게 변환되는지에 대한 정확한 메커니즘은 여전히 미개척 영역으로 남아 있다. 기존 문헌은 사실적 회상이 마지막 엔티티 토큰 위치에서 발생하며, 엔티티 응축(entity consolidation), 엔티티 강화(엔티티에 속성을 로드하는 MLP 과정), 그리고 속성 추출의 3단계 과정을 거친다고 가정한다. 그러나 엔티티 표현을 속성 회상에 충분한 상태로 변환하기 위해 필요한 구체적인 인과적 계산(causal computations)은 여전히 명확히 밝혀지지 않았다. 검색이 레이어 전반에 걸친 연속적인 정보 축적인지, 아니면 특정 시점에 달성되는 이산적인 상태인지, 그리고 이 과정이 단일하고 국소적인 회로에 의존하는지 혹은 분산된 메커니즘에 의존하는지는 불분명하다.

방법론

저자들은 **속성 계산 경로(attribute-computation path)**를 중심으로 한 프레임워크를 제안한다. 이는 타겟 속성을 이끌어내기 위해 엔티티 표현에 가해지는 일련의 계산 단계(트랜스포머 레이어)를 의미한다. 핵심 목표는 최소 속성 계산 경로(minimal attribute computation path), 즉 특정 레이어를 제거했을 때 출력이 방해받는, 계산에 있어 충분하면서도 필수적인 레이어들의 부분 집합을 식 обнару하는 것이다.

이를 위해 저자들은 세 가지 주요 단계로 구성된 새로운 **반복적 활성화 패칭 프로토콜(iterative activation-patching protocol)**을 도입한다.

1. 종료 지점($\ell_{attr}$) 찾기:
   lock이라는 연산을 사용하여, 저자들은 특정 레이어 $\ell$에서의 엔티티 표현을 이후의 모든 레이어로 패칭한다. 이들은 올바른 속성 예측을 유지하는 가장 이른 레이어 $\ell_{attr}$을 식별한다. 이를 통해 상한선을 설정함으로써, 해당 레이어 이후에는 속성이 완전히 가용해지기 위한 추가적인 처리가 필요 없음을 확인한다.

2. 최소 경로 식별 (반복적 탐욕 검색):
   엔티티 임베딩에서 시작하여 알고리즘은 최소 레이어 시퀀스를 찾는 탐욕적 검색을 수행한다. 이 과정에서 저자들은 "안겔라 메르켈"을 "빌 게이츠"로 교체하는 것과 같은 **대조적 프롬프트(counterfactual prompts)**를 사용하여 isolate 연산을 정의한다. 이 연산에서:

   • 후보 경로의 첫 번째 레이어는 클린 엔티티 임베딩을 받는다.
   • 경로 내의 후속 레이어들은 이전 경로 레이어의 계산된 출력을 받는다.
   • 경로 레이어들 사이의 모든 중간 레이어들은 대조적 실행(counterfactual run)으로부터의 활성화를 받는다.
     알고리즘은 유효한 예측(즉, 모델이 여전히 올ual한 속성을 출력함)을 유지하면서 가능한 한 많은 레이어를 건너뛰며 경로를 반복적으로 확장한다. 이를 통해 결과적으로 도출된 경로가 최소이며 비연속적임을 보장한다.

3. 대안 경로 발견:
   경로가 반드시 $\ell_{attr}$에서 종료되어야 한다는 제약을 완화하고 검색을 더 깊은 레이어까지 확장함으로써, 저자들은 **대안적 최소 경로(alternative minimal paths)**를 식별한다. 이 경로들은 기본 경로와 기능적으로는 동일하지만 길이, 깊이 및 레이어 구성에서 차이가 난다.

이 방법은 CounterFact 데이터셋의 2,000개 프롬프트를 사용하여 LLaMA 3.1 8B(32개 레이어)와 Qwen3 8B(36개 레이어)에 적용되었다.

주요 결과

1. 비연속성 및 희소성

최소 속성 계산 경로는 빈번하게 **비연속적(non-contiguous)**이다. 모델은 종종 속성 검색 과정에서 중간 레이어들을 통째로 건너뛴다.

• LLaMA: 경로의 33.1%가 적어도 하나의 레이어를 건너뛴다(평균 스킵 크기: 0.7).
• Qwen: 경로의 78.6%가 적어도 하나의 레이어를 건너뛴다(평균 스킵 크기: 2.0).
  이는 사실적 지식 회상이 모든 레이어를 통한 연속적인 흐름을 필요로 하는 것이 아니라, 희소한 레이어 부분 집합이 필요한 변환을 수행한다는 것을 나타낸다.

2. 분산 및 다단계 처리

단일 레이어나 좁은 범위의 레이어가 회찰을 담당한다는 가설과 달리, 최소 경로는 일관되게 여러 레이어를 포함한다(평균 경로 길이: LLaMA 약 5.9, Qwen 약 7.9). 엔티티 표현은 속성이 완전히 가용해지기 전까지 여러 단계의 뚜렷한 변환을 거쳐야 한다.

3. 중복성 및 대안 경로

연구는 높은 수준의 중복성을 드러낸다. 탐색된 대부분의 사실에 대해:

• LLaMA: 80.1%의 사례에서 적어도 하나 이상의 기능적으로 동등한 대안 경로가 존재한다.
• Qwen: 82.7%의 사례에서 대안 경로가 존재한다.
  이러한 대안 경로는 일반적으로 기본 경로보다 더 깊고 길다. 이들은 거대한 비순차적 점프에 의依赖하며, 더 깊은 곳에 있는 별도의 모듈 세트를 동원하여 기본 처리 센터를 우회한다.

4. 레이어의 기능적 역할

• 종료 깊이(Termination Depth): 속성 계산은 일반적으로 초기-중기 레이어에서 완료된다(평균 $\ell_{attr}$: LLaMA 4.61, Qwen 7.97).
• 표현의 충분성(Representation Sufficiency): $\ell_{attr}$에서의 표현은 엄격히 필요하다(이를 제거하면 94% 이상의 예측이 방해받는다). 그러나 그 자체로 충분하지 않은 경우가 많다. 중간 경로 레이어들이 상위 모델 레이어를 구동하는 데 필요하며, 이는 상당 부분의 사례에서 나타난다(LLaMA의 경우 $\ell_{attr}$만 주입했을 때 기본 경로의 실패율 44%).
• 전파(Propagation): 더 긴 비표준 경로는 기본 경로에 비해 어텐션 메커니즘을 통한 토큰 간 정보 전파에 더 많이 의존한다.

5. 모듈형 유연성

저자들은 기본 경로의 접두사(prefix)와 대안 경로의 접미사(suffix)를 결합하여 구성된 "하이브리드" 경로가 속성 예측을 성공적으로 복구할 수 있음을 입증했다. 이는 서로 다른 레이어 시퀀스가 기능적으로 동등한 변환을 수행할 수 있으며, 레이어의 역할이 기본 회로와 백업 회로 간에 일대일로 엄격하게 매칭되지 않음을 확인시켜 준다.

6. 엔티티 해상(Entity Resolution) vs. 속성 회상

연구 결과, 엔티티 해상(ER)(엔티티의 이름을 재구성하는 능력)과 속성 충분성 사이에는 강한 해리(dissociation)가 발견되었다. 감지 가능한 ER 단계는 기본 경로의 소수(LLaMA의 경우 12.9%) 및 대안 경로에서는 그보다 더 적은 비율에서 나타났다. 이는 속성 회상이 프로빙(probing) 방법으로 접근 가능한 구별 가능한 "정체성 상태(identity state)" 없이 암묵적으로 발생하는 경우가 많음을 시사한다.

의의 및 주장

본 논문은 사실적 지식이 특정 MLP 레이어에 저장된다는 "민속적 견해(folk view)"에 도전하며, 엔티티 강화의 하위 프로세스에 대한 새로운 관점을 제공한다고 주장한다. 저자들은 다음과 같이 주장한다:

1. 지식은 분산되어 있다: 사실적 정보는 분산된 방식으로 여러 레이어에 걸쳐 저장 및 처리되며, 회상을 위해서는 특정한 비연속적 변환 시퀀스가 필요하다.
2. 지식은 중복되어 있다: 모델은 동일한 사실에 대해 여러 개의 기능적으로 동등한 계산 경로를 보유하고 있으며, 이는 주요 회로가 제거되었을 때 모델이 스스로 복구하는 "히드라 효과(hydra effect)"를 설명한다.
3. 국소화-편집 불일치(Localization-Editing Mismatch): 이러한 발견은 왜 지식 편집(knowledge editing)이 지식이 국소화된 위치와 다른 곳에서 성공하는지에 대한 설명을 제공한다. 속성 계산은 여러 번의 변환을 필요로 하므로, 편집은 특정 저장 위치가 아닌 필수적인 변환 단계에서 개입함으로써 성공한다.

저자들은 사실적 회상의 메커니즘이 기존의 이해보다 훨씬 더 복잡하고 정교하며, 단일한 선형 검색 회로보다는 높은 중복성과 분산된 계산을 특징으로 한다고 결론짓는다. 이 연구는 새로운 활성화 패칭 프로토콜을 통해 사실적 지식이 어떻게 엔티티 표현을 풍부하게 만드는지에 대한 정밀한 시각을 제공한다.