💬 NLP

On the Emergence and Test-Time Use of Structural Information in Large Language Models

이 논문은 거대 언어 모델이 관찰 데이터로부터 추상적인 구조적 정보를 어떻게 학습하고 적용하는지를 조사하며, 이러한 학습의 발현이 복잡한 추론과 상관관계가 있는 반면, 모델의 테스트 시간 구성적 생성 능력은 여전히 제한적이라는 점을 밝힌다.

원저자: Michelle Chao Chen, Moritz Miller, Bernhard Schölkopf, Siyuan Guo

게시일 2026-01-27

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Michelle Chao Chen, Moritz Miller, Bernhard Schölkopf, Siyuan Guo

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대 언어 모델(LLM)을 세상의 모든 요리책을 읽은 매우 재능 있는 셰프로 상상해 보십시오. 그들은 레시피를 완벽하게 암송할 수 있고, 이전에 보았던 재료들을 조합하여 새로운 요리를 만들 수도 있습니다. 하지만 그들이 요리의 '논리'를 진정으로 이해할 수 있을까요? 예를 들어 "소금을 넣으면 짠맛이 난다"라는 기본적인 규칙을 배우고, 한 번도 본 적 없는 완전히 새로운 식재료에 그 규칙을 적용할 수 있을까요, 아니면 그저 특정 요리들을 암기하는 것뿐일까요?

이 논문, **"거대 언어 모델에서 구조적 정보의 출현과 테스트 시간 사용에 관하여(On the Emergence and Test-Time Use of Structural Information in Large Language Models)"**는 이 질문에 답하기 위해 설계된 과학적인 주방 실험과 같습니다. 연구자들은 AI 셰프가 단순히 학습한 문장들을 암기하는 것인지, 아니면 언어의 근본적인 '문법 규칙(구조)'을 배우는 것인지를 확인하고자 했습니다.

다음은 이들의 연구 결과를 쉬운 비유를 사용하여 정리한 내용입니다.

1. 놀이터: "문법 체육관"

모델을 테스트하기 위해 연구자들은 단순히 무작위 문장을 던져주지 않았습니다. 그들은 *변형 생성 문법(Transformational Grammar)*이라는 개념을 기반으로 특별한 **"문법 체육관"**을 구축했습니다.

언어를 레고 블록 세트라고 생각해 보십시오.

심층 구조(Deep Structure): 문장의 핵심 아이디어 (예: "존은 행복하다").
표층 구조(Surface Structure): 우리가 실제로 말하는 방식 (예: "존이 행복해 보인다").

연구자들은 AI가 문장을 수행하는 특정 "변형"을 수행하도록 하는 데이터셋을 만들었습니다. 예를 들어 평서문을 의문문으로 바꾸거나, 능동태를 수동태로 바꾸거나, 주어를 문장 앞으로 이동시키는 등의 작업입니다. 이는 마치 셰프에게 케이크 레시피를 가져와서 엄격한 규칙에 따라 즉석에서 파이 레시피로 다시 쓰라고 요구하는 것과 같습니다.

2. 발견: AI는 언제 "이해하게" 되는가?

연구자들은 AI가 이러한 규칙을 이해하기 시작할 때를 포착하기 위해, 내부의 "뇌파"(수학적 표현)를 관찰하며 학습 과정을 지켜보았습니다.

"아하!" 모먼트: 연구자들은 AI가 이러한 규칙을 점진적으로 배우는 것이 아니라, **상전이(phase transition)**를 거친다는 것을 발견했습니다. 마치 전등 스위치를 켜는 것과 같습니다. 특정 학습 단계(약 64,000 스텝 부근)에 도달했을 때, AI는 갑자기 서로 다른 유형의 문장 변화를 구분하기 시작했습니다.
추론과의 연결: 흥eric하게도, 이 "스위치"는 단순히 AI가 다음 단어를 더 잘 예측하게 만드는 데 그치지 않았습니다. 이는 AI가 복잡한 추론 과제를 더 잘 수행하는 것과 상관관계가 있었습니다. 이는 AI가 단순히 단어를 아는 것이 아니라, 언어의 근 underlying 구조를 이해해야 어려운 논리 퍼즐을 풀 수 있음을 시사합니다.

3. 테스트: AI는 규칙을 결합할 수 있는가? (The "Composition" Problem)

이것이 실험의 가장 결정적인 부분입니다. 연구자들은 다음과 같이 물었습니다. 만약 우리가 AI에게 규칙 A와 규칙 B를 각각 따로 가르친다면, AI가 본 적 없는 문장에 대해 '규칙 A + 규칙 B'를 수행할 수 있을까?

결과: AI는 고전했습니다.
- AI에게 중간 단계(예: "먼저 규칙 A를 하고, 그다음 규칙 B를 하시오")를 제공했을 때는 잘 수행했습니다.
- 하지만 도움 없이 한 번에 전체 과정을 수행하라고 요청했을 때는 자주 실패했습니다.
비유: 학생에게 왼쪽 신발 끈 묶는 법과 오른쪽 신발 끈 묶는 법을 가르친다고 상 생각해 보십시오. 만약 단계별 과정을 보지 않고 두 가지를 동시에 묶으라고 요구한다면, 그들은 혼란에 빠질 수 있습니다. AI는 독립적인 규칙들을 자유롭게 섞어서 사용할 수 있을 만큼 규칙을 진정으로 이해하기보다는, 특정 조합의 단계들을 암기하는 것처럼 보입니다.

4. 기계 내부: 마법은 어디에서 일어나는가?

연구자들은 또한 어떤 부분이 핵심적인 역할을 하는지 알아보기 위해 AI의 뇌에 "수술"(절제 연구, ablation studies)을 가했습니다.

"근육" vs "뇌": 연구자들은 MLP 레이어(AI의 "근육" 또는 헤비한 계산을 수행하는 처리 장치라고 생각하십시오)가 이러한 변형 성공의 약 **65%**를 담당한다는 것을 발견했습니다. 어텐션 헤드(무엇에 집중할지 결정하는 "뇌")는 약 **35%**만을 담당했습니다.
최종 레이어: 이 문장을 "어떻게 변형할 것인가"에 대한 실제 결정은 주로 네트워크의 최종 레이어들에서 일어납니다. 이는 AI가 대부분의 시간을 생각하는 데 쓰고, 마지막 순간에 구체적인 규칙을 적용하는 것과 같습니다.

5. 결론

이 논문은 희망적인 소식과 현실적인 점검을 동시에 전달하며 마무리됩니다.

희망적인 소식: LLM은 구조적 정보를 학습합니다. 그들은 단순히 텍스트를 암기하는 것이 아니라, 문장이 어떻게 작동하는지에 대한 내부 지도를 개발하며, 이 지도는 추론 능력이 향려짐에 따라 더욱 정교해집니다.
현실적인 점 점검: 그러나 이 학습은 아직 완벽하지 않습니다. 이 규칙들을 결합하여 완전히 새롭고 복잡한 지식을 즉석에서 생성하는 것(테스트 시간 구성, test-time composition)에 있어서, AI는 여전히 한계가 있습니다. AI는 중간 단계를 보는 것에 크게 의존하며, 규칙을 "분리"하여 새로운 상황에 유연하게 적용하는 데 어려움을 겪습니다.

요약하자면: AI는 게임의 규칙을 배우고 있지만, 수학 공식은 알고 있으나 스스로 새로운 문제를 풀기 위해서는 반드시 단계별 예제 풀이를 먼저 확인해야 하는 학생과 비슷합니다. 그들은 아직 순수하고 유연한 창의성의 경지에 도달하지는 못했습니다.

기술 요약: 대규모 언어 모델에서의 구조적 정보의 출현 및 테스트 시점 활용에 관하여

문제 동기
본 논문은 관찰 데이터로부터 추상적인 구조적 정보를 학습하고, 이 지식을 활용하여 테스트 시점에 진정으로 새로운 조합을 생성해내는 대규모 언어 모델(LLM)의 능력을 다룹니다. 인간은 미처 보지 못한 조합을 이해하기 위해 기본적인 언어적 구성 요소들을 재조합할 수 있는 반면(구성적 일반화), 현재의 모델들은 분포 외(OOD) 개념에 대한 체계적인 일반화에 어려움을 겪는 경우가 많습니다. 저자들은 LLM이 구조적 정보를 어떻게 학습하고 합성하는지를 이해하는 것이, 훈련 코퍼스 외부에서 새로운 지식을 창출하는 능력(기계론적 이해 및 강건한 예측과 연결됨)을 생성하는 데 핵심적이라고 상정합니다. 이를 통제된 환경에서 연구하기 위해, 저자들은 표준 벤치마크를 넘어 변형 생성 문법(Transformational Grammar)에서 유래한 언어적 구조 변형에 집중합니다.

방법론
저자들은 **변형 생성 문법(TG)**에 기반한 통제된 합성 놀이터(synthetic playground)를 도입합니다.

데이터셋 구축: 저자들은 5개의 구문 범주로 그룹화된 10가지의 뚜렷한 변형 유형(예: NP-raising, passivization, I-movement)을 포함하는 자연어 데이터셋을 생성했습니다. 데이터셋은 다음을 포함합니다:
- 단일 단계 변형: 하나의 연산자를 기본 문장에 적용.
- 중첩 변형: 연산자의 순차적 적용 (예: $B(A(s))$ ).
- 구성적 모호성: 특정 변형이 의미 있게 합성될 수 없는 경우로, 모델이 암묵적으로 호환 가능한 패턴을 식별해야 함.
- 데이터셋은 일관성을 보장하기 위해 특정 프롬프트를 사용하여 DeepSeek-V3로 생성되었으며, 단일 단계 변형에는 약 2,000개, 중첩 변형에는 약 500개의 샘플이 생성되었습니다.
실험 설정:
- 출현 분석: Pythia-410M 모델을 사용하여 훈련 과정 중 구조적 표현의 진화를 추적했습니다. 저자들은 구조적 민감도를 측정하기 위해 기본 문장과 변형된 버전( $\Delta A(s)$ ) 사이의 잔차 스트림(residual stream) 표현 간 $L_2$ 거리를 계산했습니다.
- 구성적 일반화: LLaMA3-8B를 사용하여 전체 파라미터 미세 조정(full-parameter fine-tuning)과 파라미터 효율적 미세 조정(LoRA)을 모두 평가했습니다. 평가는 모델이 중간 단계가 추론 중에 제공되지 않은 상태에서 중첩 변형 및 OOD 조합(예: $A(B(s))$ 와 $B(C(s))$ 로 훈련한 후, $A(C(s))$ 를 테스트)을 수행하는 능력을 테스트했습니다.
- 기계론적 해석 가능성: 저자들은 어떤 네트워크 구성 요소와 레이어가 구문 변형을 담당하는지 식별하기 위해 인과적 개입 분석(어텐션 헤드 및 MLP 블록 제로잉)과 선형 프로빙(LDA)을 수행했습니다.

주요 기여

데이터셋: 구조적 정보 학습을 공식적으로 연구하기 위해 변형 생성 문법에 기반한 자연어 데이터셋을 도입했습니다.
경험적 상관관계: 구조적 정보의 출현이 단순히 표준 언어 모델링의 퍼플렉시티(perplexity)가 아니라, 복잡한 추론 작업의 성공과 상관관계가 있음을 입증했습니다.
합성에 대한 한계: 모델이 구조적 표현을 학습하긴 하지만, 미세 조정을 거친 후에도 테스트 시점에 새로운 중첩 변형(특히 보지 못한 중첩 변형)을 수행하는 구성적 생성 능력은 제한적이라는 증거를 제시했습니다.
기계론적 통찰: 구문 변형을 담당하는 특정 네트워크 구성 요소를 식별하여, 변형 관련 계산이 후기 레이어에 집중되어 있으며 어텐션 메커즘보다 MLP 블록이 지배적임을 밝혀냈습니다.

결과

구조의 출현:
- 서로 다른 문장 변형들은 임베딩 공간 내에서 뚜렷하고 분리 가능한 클러스터를 형성합니다.
- 기본 문장과 변형된 문장의 표현 간 $L_2$ 노름은 훈련 중에 꾸준히 증가하며, 64k 스텝 부근에서 급격한 상승을 보이는데, 이는 구조적 구분이 뚜렷해지는 상전이(phase transition)를 나타냅니다.
- 이러한 구조적 정교화는 표준 차기 단어 예측 퍼플렉시티보다 복잡한 추론 작업의 이득과 더 밀접하게 상관됩니다.
구성적 일반화:
- 전체 파라미터 미세 조정은 제한된 데이터셋에 대한 과적합으로 인해 성능이 저조했습니다.
- LoRA 미세 조정은 전체 파라미터 튜닝보다 유의미한 개선을 보였습니다. 그러나 모델은 추론 중에 중간 결과가 제공되지 않을 경우 중첩 변형에 대한 정확한 일치를 수행하는 데 어려움을 겪었습니다.
- OOD 중첩 변형(예: $A+C$ )에 대한 성능은 여전히 낮았으며(정확한 일치 0.00%, 부분 일치 약 45-49%), 이는 모델이 테스트 시점에 유연하게 합성하기 위해 변형 연산을 완전히 분리(disentangle)하지 못함을 시사합니다.
- 훈련 및 추론 중에 명시적인 중간 단계를 제공하는 것이 성능을 향 향상시켰으며, 이는 모델이 구조적 가이드의 도움을 받지만 아직 그것 없이는 보지 못한 조합으로 견고하게 일반화할 수 없음을 나타냅령다.
절제 및 해석 가능성:
- 레이어 집중도: 올바른 변형 토큰을 예측할 확률은 네트워크의 마지막 3분의 1(레이어 24–32)에서 급격히 증가하며, 기여도의 38%가 여기에 집중되어 있습니다.
- 구성 요소 선호도: MLP 블록은 어텐션 메커니즘(35%)보다 구문 변형 성공(65%의 인과적 기여)에 더 많이 기여합니다.
- 선형 분리 가능성: 선형 프로브는 잔차 스트림 내에서 변형 유형 간의 거의 완벽한 분리를 보여주며, 이는 선형 표현 가설을 뒷받집합니다.

의의 및 주장
본 논문은 구조적 합성을 통해 새로운 지식을 생성하는 LLM의 한계와 메커니즘에 관한 증거를 제공한다고 주장합니다. 저자들은 LLM이 구조적 정보를 학습하고 훈련 중에 구조적 민감성의 상전이를 보이지만, 현재는 명시적인 중간 가이드 없이는 보지 못한 분포 외 구조를 유연하게 재조합하여 새로운 지식을 생성하는 능력이 부족하다고 결론짓습니다. 이러한 결과는 추론이 구조적 정보를 필요로 할 수 있지만, LLaMA3-8B와 같은 모델에 대한 현재의 미세 조정 방식은 아직 견고한 구성적 일반화를 달 Achieve하지 못함을 시사합니다. 본 연구는 구문 변형이 후기 레이어의 MLP에 크게 의존하며, 개념의 분리가 미세 조정이 진행됨에 따라 잔차 스트림에서 선형적으로 나타난다는 점을 강조합니다.

한계점
저자들은 자신의 분석이 영어로 제한되어 있어 교차 언어적 패턴에 대한 일반화가 제한될 수 있음을 인정합니다. 또한, 인과적 귀속을 위해 단일 단계 변형을 사용한 것은 하위 연산들을 혼동할 가능성이 있습니다. 더불어, 8B 모델에 대한 결과가 더 복잡한 데이터셋을 요구하는 더 큰 모델로 직접 확장되지는 않을 수 있습니다.