🧬 biology

Relational reasoning and inductive bias in transformers and large language models

본 논문은 트랜스포머가 어떻게 추론을 수행하는지 조사하여, 가중치 학습이 강력한 일반화를 위한 선형 임베딩을 자연스럽게 발달시키는 반면, 컨텍스트 학습은 선형 작업으로 사전 훈련되거나 선형 정신 지도를 구축하도록 명시적으로 프롬프트되지 않는 한 일반적으로 복사 전략에 의존함을 밝히며, 두 가지 학습 체계와 표현 기하학이 모두 관계 추론 능력을 결정하는 데 결정적으로 중요함을 강조합니다.

원저자: Jesse Geerts, Andrew Liu, Stephanie Chan, Claudia Clopath, Kimberly Stachenfeld

게시일 2026-05-12

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jesse Geerts, Andrew Liu, Stephanie Chan, Claudia Clopath, Kimberly Stachenfeld

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ⚕️ 이것은 동료 심사를 거치지 않은 프리프린트의 AI 생성 설명입니다. 의학적 조언이 아닙니다. 이 내용을 바탕으로 건강 관련 결정을 내리지 마세요. 전체 면책 조항 읽기

로봇에게 세상을 이해하는 법을 가르친다고 상상해 보세요. A 가 B 보다 크고, B 가 C 보다 크다면, A 는 반드시 C 보다 커야 한다는 사실을 로봇이 알아낼 수 있는지 알고 싶을 것입니다. 이를 '전이 추론 (transitive inference)'이라고 하는데, 인간은 물론 원숭이조차 자연스럽게 해결하는 고전적인 논리 퍼즐입니다.

이 논문은 AI 모델 (특히 트랜스포머) 의 두 가지 다른 '학습' 방식이 이 퍼즐을 어떻게 처리하는지 조사합니다. 연구자들은 로봇이 어떻게 배우는지가 무엇을 배우는지를 결정한다는 사실을 발견했습니다.

다음은 그들의 발견을 간단한 비유로 정리한 것입니다:

1. 두 가지 학습 스타일: '하드 드라이브' 대 '플래시카드'

이 연구는 모델이 학습하는 두 가지 방식을 비교합니다:

가중치 내 학습 (In-Weights Learning, IWL) – '하드 드라이브' 접근법:
시험을 준비하기 위해 사실을 암기하여 뇌 (또는 하드 드라이브) 에 영구적으로 새겨 넣는다고 상상해 보세요. 훈련이 끝나면 로봇은 규칙을 '알게' 됩니다.
- 결과: 로봇이 이렇게 학습했을 때, 단순히 본 특정 쌍 (A>B, B>C) 만을 암기한 것이 아니라, 마음속으로 '숫자 선 (number line)'을 구축했습니다. 모든 것에는 순위가 있다는 것을 이해한 것입니다. 이 마음속 지도를 바탕으로 로봇은 함께 본 적이 없는 항목들 (예: A 와 C) 사이의 관계를 쉽게 추측할 수 있었습니다. 로봇은 인간이나 원숭이처럼 행동하여, 목록에서 항목들이 서로 더 멀리 떨어져 있을수록 퍼즐을 더 잘 풀었습니다.
맥락 내 학습 (In-Context Learning, ICL) – '플래시카드' 접근법:
시험을 치르는데 바로 앞의 치트시트 (맥락) 를 볼 수 있다고 상상해 보세요. 규칙을 암기하는 것이 아니라, 그 순간 제공된 예시를 보고 특정 문제를 해결할 뿐입니다.
- 결과: 로봇이 이렇게 학습했을 때, 치트시트에 보이는 것을 그대로 복사하는 데 매우 능했습니다. 치트시트에 "A > B"라고 적혀 있고 질문이 "A > B"라면 정답을 맞췄습니다. 하지만 질문이 시트에 없던 "A > C"였다면 실패했습니다. 로봇은 마음속 지도를 구축하지 않았고, 그저 '일치시키고 복사 (Match and Copy)' 게임을 했을 뿐입니다. 답이 프롬프트에 문자 그대로 적혀 있을 때만 퍼즐을 풀 수 있었습니다.

2. '아하!' 순간: 로봇에게 선으로 생각하게 가르치기

연구자들은 질문했습니다: 플래시카드 로봇을 하드 드라이브 로봇처럼 생각하게 속일 수 있을까요?

그들은 '플래시카드' 로봇을 다른 작업인 **선형 회귀 (Linear Regression)**로 사전 훈련시켜 보았습니다. 이는 점들의 집합을 통과하는 직선을 그리도록 로봇에게 가르치는 것과 같습니다.

마법: 로봇이 직선을 그리는 법 (선형 관계) 을 배우자마자, '플래시카드' 방식을 사용하더라도 전이 추론 퍼즐을 완벽하게 풀기 시작했습니다.
이유: 직선을 그리려면 숫자들이 순서 (1, 2, 3...) 를 가진다는 것을 이해해야 하기 때문입니다. 로봇이 이 '선' 개념을 이해하자마자, 이를 새로운 퍼즐에 적용할 수 있었습니다. 로봇은 단순히 복사하는 것을 멈추고 추론하기 시작했습니다.

3. 현실 세계 테스트: 대형 언어 모델에게 물어보기

마지막으로, 팀은 거대한 현실 세계 AI 모델 (대형 언어 모델, 즉 여러분이 대화할 수 있는 모델들) 에 대해 이를 테스트했습니다. 그들은 이 모델들에게 다음과 같이 사실 관계가 제시된 논리 퍼즐을 주었습니다:

현실과 일치하는 사실 (예: "고래는 물고기보다 크다").
현실과 반대되는 사실 (예: "물고기는 고래보다 크다" – 모델이 기억을 무시하고 새로운 사실만 보도록 강제).

그들은 모델들에게 문제를 시각화하는 방법에 대한 '힌트'를 주었습니다:

힌트 A (숫자 선): "이 항목들을 가장 작은 것에서 가장 큰 것까지 직선 위에 있다고 상상해 보세요."
힌트 B (원): "이 항목들을 원 위에 있다고 상상해 보세요."

발견:

모델들에게 직선을 사용하라고 했을 때, 특히 기존 지식을 무시해야 하는 까다로운 퍼즐에서 논리 퍼즐을 훨씬 잘 풀었습니다.
반면 원을 사용하라고 했을 때, 그들은 어려움을 겪었습니다. 그 이유는 원 위에서는 '크다'는 규칙이 무너지기 때문입니다 (원을 한 바퀴 돌면 A 가 B 보다 크고, B 가 C 보다 크지만, C 가 다시 감싸서 A 보다 클 수 있습니다). '원'이라는 기하학은 논리를 혼란스럽게 만들었습니다.

핵심 교훈

이 논문은 기하학이 중요하다고 결론 내립니다.

AI 모델이 '뇌'(가중치) 에 사실을 저장하는 법을 배우면, 자연스럽게 세상을 직선 지도로 구축하여 논리적으로 추론할 수 있게 됩니다.
AI 모델이 앞의 정보 (맥락) 만에 의존하면, 특별히 '선'으로 생각하도록 훈련받지 않는 한 단순히 패턴을 복사하는 경향이 있습니다.
거대하고 똑똑한 AI 모델조차도, 단순히 "직선을 상상해 보라"고 말하는 것이 "원을 상상해 보라"고 말하는 것보다 더 나은 추론을 가능하게 합니다.

요약하자면: AI 가 인간처럼 추론하게 만들려면 더 많은 데이터만 주면 되는 것이 아니라, 올바른 생각의 형태를 주어야 합니다.

기술적 요약: 트랜스포머 및 대규모 언어 모델의 관계적 추론과 귀납적 편향

문제 제기

트랜스포머 기반 모델은 놀라운 추론 능력을 입증해 왔으나, 관계적 추론(간접적으로 관련된 항목 간의 관계를 추론하는 능력) 을 뒷받침하는 메커니즘은 여전히 poorly understood(잘 이해되지 않음) 합니다. 두 가지 다른 학습 체계 하에서 모델이 추이적 추론(예: $A > B$ 이고 $B > C$ 이면 $A > C$ ) 을 수행하는 방식을 구분하는 데에는 중요한 격차가 존재합니다:

가중치 내 학습 (In-Weights Learning, IWL): 정보가 훈련 중 모델의 매개변수에 저장됩니다.
맥락 내 학습 (In-Context Learning, ICL): 정보가 추론 시 입력 시퀀스 내에 동적으로 제공됩니다.

ICL 은 분류 및 회귀 분석에서 연구되어 왔으나, 관계적 추론 작업에서의 행동은 불분명합니다. 사전 훈련된 모델의 훈련 데이터에 대한 통제력이 제한적이기 때문에, 대규모 언어 모델 (LLM) 이 가중치에 인코딩된 사전 지식을 활용하는지 아니면 진정한 맥락 내 추론을 수행하는지 판단하기 어렵습니다. 본 논문은 추이적 추론을 전형적인 작업으로 사용하여 이러한 학습 모드가 귀납적 편향과 일반화 패턴에서 어떻게 다른지 조사합니다.

방법론

저자들은 소규모, 처음부터 훈련된 (trained-from-scratch) 트랜스포머에 대한 통제된 실험과 대규모 언어 모델 (LLM) 에 대한 프로빙 (probing) 실험을 결합한 다면적 접근법을 사용했습니다.

1. 추이적 추론 작업 설정

핵심 작업은 항목의 계층 구조 (예: $A > B > C > \dots > G$ ) 를 포함합니다.

입력: 상대적 순서를 나타내는 라벨이 붙은 항목 쌍 (토큰) (+1 은 첫 번째 > 두 번째, -1 은 그 반대).
훈련 데이터: 모델은 오직 인접한 쌍(기호적 거리 = 1, 예: $A>B$ , $B>C$ ) 만으로 훈련됩니다.
평가: 모델은 비인접한 쌍(기호적 거리 > 1, 예: $A>C$ ) 으로 테스트되어 추이적 일반화를 측정합니다.
아키텍처: 해석 가능성을 위해 MLP 를 생략한 2 층 주의 (attention)-전용 트랜스포머이며, 입력 특징으로 Omniglot 이미지의 ResNet18 임베딩을 사용합니다.

2. 실험 조건

본 연구는 세 가지 특정 훈련 체계를 비교합니다:

IWL (고정 계층 구조): 모든 훈련 시퀀스 동안 계층 구조가 고정됩니다. 맥락 예시는 무작위이며 관련이 없으므로, 모델이 순위 구조를 가중치 내부에 학습하도록 강제합니다.
표준 ICL (동적 계층 구조): 각 훈련 시퀀스에 대해 새로운 무작위 계층 구조가 할당됩니다. 맥락에는 해당 특정 시퀀스에 대한 모든 인접한 쌍이 포함됩니다. 모델은 맥락에서 순위를 추론해야 하므로, 특정 계층 구조가 가중치에 저장되는 것을 방지합니다.
선형 회귀 사전 훈련을 통한 ICL: 모델은 먼저 시퀀스마다 가중치 $W$ 가 변하는 맥락 내 선형 회귀 작업 ($y = Wx$ 예측) 으로 사전 훈련됩니다. 이는 모델이 추이적 추론 작업으로 평가되기 전에 ICL 을 통해 잠재적 선형 표현을 학습하도록 강제합니다.

3. 메커니즘 분석

모델이 작업을 해결하는 방식을 이해하기 위해 저자들은 다음을 활용했습니다:

주성분 분석 (PCA): 은닉층 표현의 기하학을 시각화하기 위해.
주의 패턴 분석: "유도 헤드 (induction heads)"(이전 토큰 주의 + 유도 헤드) 와 같은 특정 회로 메커니즘을 식별하기 위해.
어블레이션 연구 (Ablation Studies): 인과적 중요성을 테스트하기 위해 주의 헤드를 체계적으로 제거.

4. 대규모 언어 모델 (LLM) 프로빙

일반화 가능성을 테스트하기 위해 저자들은 사전 훈련된 LLM(Gemini 및 Gemma 계열) 으로 ReCogLab데이터셋을 사용했습니다. 그들은 합의성 (congruency) 패러다임을 사용했습니다:

합의적 (Congruent): 관계가 실세계 지식과 일치함 (예: 고래 > 돌고래).
불일치적 (Incongruent): 관계가 실세계 지식과 모순됨 (예: 금붕어 > 돌고래).
기하학적 발판 (Geometric Scaffolding): 프롬프트는 선형 수직선(추이성을 지원) 과 원(감싸기 때문에 추이성을 위반) 에 항목을 상상하라는 지시사항으로 보강되었습니다.

주요 결과

1. IWL 과 표준 ICL 의 상이한 행동

IWL 모델: 인접한 쌍만으로 훈련되었음에도 불구하고 자연스럽게 추이적 추론을 나타냅니다. 인간과 유사한 행동 효과를 보입니다:
- 기호적 거리 효과: 계층 구조 내 항목 간 거리가 증가함에 따라 정확도가 향상됩니다.
- 단말 항목 효과: 계층 구조의 끝단에 있는 항목에서 더 높은 성능을 보입니다.
- 표현: PCA 는 부호화된 기호적 거리에 따라 항목이 배열된 연속적인 선형 임베딩을 보여줍니다.
표준 ICL 모델: 인접한 쌍만으로 훈련되었을 때 추이적으로 일반화하지 못합니다.
- 인접한 쌍 (암기) 과 단말 항목에서는 높은 정확도를 달성하지만, 내부 비인접한 쌍에서는 우연 수준 (chance) 의 성능을 보입니다.
- 메커니즘: 관계적 구조를 학습하는 대신 유도 회로(일치 및 복사 전략) 에 의존합니다. PCA 는 거리 기반 표현을 보여주지 않으며, 모델은 쌍이 존재할 경우 맥락에서 라벨을 단순히 복사합니다.
- 참고: ICL 모델이 명시적으로 비인접한 쌍으로 훈련되면 추이성을 학습할 수 있지만, IWL 에서 관찰되는 기호적 거리 효과는 나타내지 않습니다.

2. 선형 사전 훈련의 역할

맥락 내 선형 회귀로 ICL 모델을 사전 훈련하는 것은 그들의 행동을 근본적으로 변화시킵니다.
이러한 모델은 후속 TI 작업에서 추이적 추론, 기호적 거리 효과, 그리고 단말 항목 효과를 보입니다.
메커니즘: 유도 회로가 사라집니다. 대신 모델은 IWL 모델과 유사하게 계층적 관계를 포착하는 분산 표현을 개발합니다. 선형 회귀 작업은 추이성이 수학적으로 도출되는 ( $rank(A) > rank(B) \land rank(B) > rank(C) \implies rank(A) > rank(C)$ ) 가산적 표현 구조 (스칼라 순위) 를 유도합니다.

3. 대규모 언어 모델에서의 발견

합의성: LLM 은 불일치적인 것 (순수 ICL 필요) 보다 합의적인 관계적 추론 프로브 (저장된 IWL 유사 지식 활용) 에서 더 잘 수행합니다.
기하학적 발판: 불일치 작업으로 프롬프트를 보낼 때, 선형 기하학 프롬프트(“수직선을 상상하세요”) 는 원형 프롬프트(“원을 상상하세요”) 에 비해 추이적 추론을 크게 향상시킵니다.
이 효과는 불일치 조건에서 가장 두드러지며 모델 크기 (Gemma 모델에서) 에 따라 증가하여, LLM 이 적절한 기하학적 프레임워크에 의해 활성화될 수 있는 잠재적 선형 표현을 보유하고 있음을 시사합니다.

주요 기여

귀납적 편향의 특성화: 본 논문은 IWL 과 ICL 이 질적으로 다른 계산 전략을 유도함을 보여줍니다. IWL 은 자연스럽게 선형적이고 추이적인 편향을 유도하는 반면, 표준 ICL 은 훈련 데이터나 사전 훈련이 명시적으로 관계적 일반화를 요구하지 않는 한 일치 및 복사 전략을 기본으로 합니다.
메커니즘적 설명: 저자들은 표준 ICL 에서 추이적 일반화가 부재한 이유는 관계적 구조 학습이 아니라 패턴 매칭인 유도 회로의 형성 때문임을 식별했습니다. 반면, 선형 회귀 사전 훈련은 분산 선형 표현을 선호하도록 이러한 회로를 억제합니다.
소규모 모델과 LLM 간의 연결: 기하학적 프롬프팅을 사용하여 통제된 소규모 실험의 결과가 현대 LLM 으로 일반화됨을 보여줍니다. 이는 LLM 의 추이적 추론 수행 능력이 가중치에 저장되거나 맥락을 통해 활성화된 적절하게 구조화된 표현에 접근하는지에 달려 있음을 입증합니다.

중요성과 주장

본 논문은 트랜스포머의 추이적 추론 능력이 고정된 기능이 아니라 다음과 같은 요소에 의해 결정됨을 주장합니다:

훈련 체계: 정보가 가중치 내 학습되는지 맥락 내 학습되는지 여부.
표현의 기하학적 구조: 유도된 표현이 추이성을 지원하는 선형인지 아니면 패턴 매칭에 의존하는지.

저자들은 트랜스포머가 추이적 추론을 수행할 수 있지만, 인접한 쌍에 대한 표준 ICL 이 자동으로 이러한 능력을 산출하지는 않는다고 결론지었습니다. 대신, 선형 표현을 유도하는 특정 사전 훈련 (선형 회귀와 같은) 이 필요하거나, LLM 에서 기하학적 프롬프팅을 통해 잠재적 선형 구조를 활성화해야 합니다. 이 작업은 LLM 의 "추론"이 종종 내재된 논리적 추론 메커니즘이 아니라, 사용하거나 접근하도록 강제된 표현의 기하학적 구조에 대한 반영일 수 있음을 강조합니다.