Multi-Hop Knowledge Composition is Bound by Pretraining Exposure

기술 요약: 멀티홉 지식 구성은 사전 학습 노출에 의해 제한된다

문제 정의
대규모 언어 모델(LLM)은 개별적인 사실적 지식을 저장하고 검색하는 데 있어서는 높은 충실도를 보이지만, 단일 순방향 패스(forward pass) 내에서의 암시적인 멀티홉 추론에는 지속적으로 실패한다. 모델은 "X는 언제 태어났는가?"와 "Y의 가장 가까운 친구는 누구인가?"라는 질문에는 올바르게 답할 수 있지만, 두 구성 사실이 완벽하게 암기되어 있음에도 불구하고 "Y의 가장 가까운 친구는 언제 태어났는가?"라는 질문에는 답하지 못할 수 있다. **구성성 격차(compositionality gap)**라고 알려진 이 현상은 모델의 규모나 아키텍처에 관계없이 지속된다. 기존의 해결책들은 추론 과정에서 연쇄 사고(chain-of-thought)나 분해(decomposition)를 통해 추론을 외재화하지만, 구성적 추론이 오직 사전 학습만으로 발현될 수 있는지는 여전히 불분명하다. 또한, 비공개 모델의 경우 공개되지 않은 사전 학습 데이터로 인해 근본 원인을 진단할 수 없다.

방법론
저자들은 사전 학습 중에 구성적 문맥에 노출된 개인과 그렇지 않은 개인을 엄격히 구분하는 통제된 자연어 환경을 사용하여 이 격차를 조사한다.

1. 데이터셋 구축: Allen-Zhu와 Li (2024)의 합성 전기(biography) 프레임워크를 기반으로, 저자들은 6가지 속성(예: 생일, 출생지)과 방향성 있는 "친구" 및 "적" 관계를 가진 $N=100,000$명의 개인에 대한 데이터셋을 구축했다.
2. 인구 집단 분할: 인구 집단은 두 개의 서로 소외된 집단으로 나뉜다:
   • $P_{comp}$ (구성적): 관계가 오직 $P_{comp}$의 다른 구성원만을 가리키는 개인들. 이들은 사전 학습 중에 구성적 문맥에 노출된다.
   • $P_{held}$ (홀드아웃): 관계가 오직 $P_{held}$ 내부에서만 발생하는 개인들. 결정적으로, 이들은 사전 학습 중 구성 체인에서 중간(가교) 엔티티로 등장하는 경우가 전혀 없다.
3. 사전 학습 및 증강: 저자들은 GPT-2 모델(Small, Medium, Large)을 처음부터 사전 학습시킨다. 저자들은 $P_{comp}$를 대상으로 두 가지 축을 따라 변하는 9가지 독특한 데이터 중심 증강 전략을 도입한다:
   • 형식: 자연어(NL) 대 RDF(구조화된 트리플).
   • 언어화: 명시적(가교 엔티티를 이름으로 언급) 대 암시적(가교 엔티티를 생략).
   • 모든 조건에는 multi5p-permute 증강이 포함된 원자적 1-hop 전기가 포함된다.
4. 평가 프로토콜: 모델은 $P_{comp}$의 75%($P^{train}_{comp}$)에서 미세 조정되며, 나머지 25%($P^{test}_{comp}$)와 완전히 보지 못한 $P_{held}$에 대해 평가된다. 평가는 문맥 내에 중간 엔티티에 대한 접근 없이 1-hop, 2-hop, 3-hop 질의에 대한 첫 번째 토큰 정확도를 측정한다.

주요 결과
실험은 세 가지 주요 결과를 도출한다:

1. 구성성 격차는 사전 학습의 실패이다: 거의 완벽한 1-hop 정확도(97%)에도 불구하고, 모델은 베이스라인 학습 하에서 $P_{held}$에 대한 2-hop 질의에 대해 0%에 가까운 점수를 기록했으며, $P_{comp}$에 대해서도 약간 더 나은 수준에 그쳤다. 이는 격차가 용량의 한계나 지식의 부족이 아니라, 사전 학습 중 사실을 구성하는 데 실패했음을 확인시켜 준다.
2. 사전 학습 노출은 필요 조건이다: 구성적 사전 학습은 노출된 개인($P^{test}_{comp}$)에 대한 미지의 질문에 대한 멀티홉 QA 성능을 유의미하게 향상시키며, 특정 증강 전략(예: 암시적 + 명시적 NL-RDF) 하에서 2-hop 정확도는 최대 0.83에 달한다. 그러나 전이(transfer)는 전혀 발생하지 않았다 ($P_{held}$에 대해). 데이터 중심 증강은 개인이 구성적 문맥에서 노출되지 않았을 때 이를 보완할 수 없다.
3. 암시적 vs. 명시적 증강:
   • 암시적 증강(가교 엔티티가 생략된 경우)은 단독으로 사용될 때 명시적 증강(가교 엔티티가 이름으로 언급된 경우)보다 일관되게 우수한 성능을 보인다. 명시적 형식은 가교 토큰의 국소화(Localization)를 개선하지만(Logit Lens 분석을 통해 검증됨), 구성적 성공으로 이어지지는 않는다.
   • 하이브리드 접근 방식(암시적 및 명시적 신호를 혼합)은 $P^{test}_{comp}$에서 가장 좋은 성능을 보여, 신호의 혼합이 표현 정렬(representation alignment)을 개선함을 시사한다.
   • RDF 형식(특히 암시적 RDF)은 매우 효과적인 것으로 증명되었으며, NL에 비해 훨씬 적은 데이터 비용으로 높은 구성적 정확도를 달산했다.

의의 및 주장
본 논문은 사전 학습 중 구성적 문맥에 대한 노출이 암시적 멀티홉 추론을 위한 필요 조건임을 확립한다. 저자들은 증강이 재사용 가능한 일반화된 구성 로직보다는 엔티티 특유의 연관성을 유도한다고 주장한다. 결과적으로, 모델은 모델 규모나 미세 조정 전략에 관계없이, 멀티홉 문맥에서 마주친 적이 없는 개인에 대한 사실을 구성하는 데 실패한다.

이 연구는 구성적 추론이 보지 못한 엔티티를 위한 순수한 데이터 증강만으로 유도될 수 있다는 관점에 도전한다. 이는 암시적 멀티홉 추론을 달성하기 위해서는 훈련 분포에 요구되는 관계 체인 내의 특정 엔티티가 명시적으로 포함되어야 함을 시사한다. 저자들은 이 근본적인 한계를 극복할 수 있는 훈련 목표 또는 아키텍처 수정에 대한 향후 조사를 지원하기 위해 코드와 생물학적 프레임워크의 재현 버전을 공개한다.

한계점
저자들은 본 설정이 완전히 합성된 것이며, 자연적으로 발생하는 코퍼스로의 일반화는 테스트되지 않았음을 인정한다. 또한 실험에 GPT-2 규모를 사용했지만, 구성성 격차는 175B 파라미터까지 지속되는 것으로 알려져 있음을 언급한다. 마지막으로, 본 연구는 표준 사전 학습 하에서의 데이터 중심 개입에 초점을 맞추고 있으며, 강화 학습이나 지식 증류와 같은 대안적인 목적 함수를 평가하지는 않는다.