기술 요약: 대규모 언어 모델은 표현 간에 절차를 일반화할 수 있는가?

문제 정의

대규모 언어 모델(LLM)은 코드나 그래프와 같은 기호적 표현(symbolic representations)으로 광범위하게 학습되지만, 실제 사용자의 작업은 주로 자연어(NL)로 명시됩니다. 견고한 LLM을 위한 핵심적이고 아직 충분히 탐구되지 않은 능력은 교차 표현 일반화(cross-representation generalization), 즉 한 표현(예: 코드 또는 그래프)에서 학습된 절차적 지식을 다른 표현(예: 자연어)으로 명시된 작업을 해결하는 데 전이하는 능력입니다.

기존 연구들은 표면적인 표현 요인과 심층적인 구조적 요인을 혼동하여, 기호적 학습이 자연어 추론에 도움이 되는지 혹은 방해가 되는지를 제대로 분리해내지 못하고 있습니다. 또한, 인지 과학에서는 학습된 구조를 공유된 기저 구조에 정렬함으로써 표현 간에 구조를 매핑하는 능력인 **생성적 유추(generative analogy)**를 인간의 핵심 추론 기제로 식려하고 있으나, LLM은 주로 표면 유사성이 높은 비례적 유추(proportional analogies)에 대해서만 연구되어 왔습니다. 본 논문은 LLM이 자연어, 그래프, 코드로 제시된 동형적(isomorphic) 작업들 사이에서 절차를 일반화할 수 있는지, 만약 그렇지 않다면 이 간극을 어떻게 메울 수 있는지 조사합니다.

방법론

실험 설정

저자들은 기저 알고리즘은 동일하지만 표면 표현만 달라지는 **동형적 작업(isomorphic tasks)**을 사용하는 통제된 실험 환경을 구축했습니다. 주요 작업은 비동기 계획(asynchronous planning)(의존성과 시간 지속 시간을 가진 단계들을 스케줄링하는 것)이며, 이는 방향성 비순환 그래프(DAG)에서의 최장 경로(임계 경로)를 찾는 것으로 공식화됩니다.

• 자연어 (NL): 의존 관계가 포함된 단계별 지침으로 설명된 작업 (예: "단계 1은 단계 3보다 앞서야 한다").
• 그래프 (Graph): 인접 리스트와 노드 가중치로 표현된 작업.
• 코드 (Code): 특정 입력을 가진 DAG 최장 경로 알고리즘을 구현하는 파이썬 스니펫으로 표현된 작업.

본 연구는 세 가지 모델 제품군(Qwen-2.5, Llama-3, Olmo-2)을 다양한 규모(1.5B ~ 7B 파라미터)에 걸쳐 평가하였으며, 네 가지 사후 학습(post-training) 전략을 사용했습니다:

1. Vanilla SFT: 사고 사슬(Chain-of-Thought, CoT) 없이 프롬프트-답변 쌍으로 미세 조정.
2. Distillation (증류): 더 강력한 교사 모델(DeepSeek-R1-Distill-Qwen-32B)이 생성한 CoT 추론을 통한 학습.
3. STaR (Self-Taught Reasoner): 모델이 스스로 생성한 정답을 바탕으로 학습하는 부트스트래핑 방식.
4. GRPO (Group Relative Policy Optimization): 검증 가능한 결과 보상을 사용하는 강화 학습 방법.

제안된 솔루션: 2단계 RL 커리큘럼

단일 표현 학습의 실패를 해결하기 위해, 저자들은 **2단계 강화 학습 커리큘럼(two-stage reinforcement learning curriculum)**을 제안합니다:

1. 1단계 (기호적 귀납, Symbolic Induction): 기호적 데이터(그래프 또는 코드)를 통해 추상적 절차를 학습하도록 모델을 훈련.
2. 2단계 (자연어 적응, Natural Language Adaptation): 학습된 절차를 대상 표현에 맞게 적응시키기 위해 자연어 데이터로 지속적으로 학습.

이 접근 방식은 추상적 구조의 학습과 표면 형태의 적응을 분리합니다.

주요 결과

1. 나이브한 교차 표현 일반화의 실패

• 기호 $\to$ NL: 그래프 또는 코드 데이터로만 학습하면 해당 표현 내에서는 높은 성능을 보이지만, NL 작업으로 일반화하는 데 실패합니다. 기저 논리가 동일하더라도 표현의 변화가 발생하면 성능이 종종 붕괴됩니다.
• NL $\to$ 기호: NL 데이터로만 학습하면 효율적인 성능 향상이 일어나지 않으며, 기호적 작업으로 신뢰성 있게 전이되지 않습니다.
• 방법론 비교: GRPO와 Distillation은 높은 단일 표현 내 성능을 보이지만, 근본적으로 교차 표현의 간극을 해결하지는 못합니다. 모델 파라미터 규모를 키우는 것(예: 1.5B에서 7B로)은 이러한 실패 패턴을 질적으로 바꾸지 못하며, 오히려 더 큰 모델이 분포 외(out-of-distribution) 성능에서 더 급격한 하락을 보이기도 합니다.

2. 2단계 커리큘럼의 효능

• 성능 향상: Graph $\to$ NL 커리큘럼은 성능을 실질적으로 개선합니다. 이 커리큘럼으로 학습된 1.5B Qwen 모델은 NL로만 학습된 7B 변체보다 우수한 성능을 보이며, 비동기 계획 작업에서 GPT-4o의 제로샷(zero-shot) 성능과 대등한 수준에 도달합니다.
• 강건성: 이 커리큘럼은 언어적 변이에 대해 강건함을 보여주며, 프런티어 모델들을 어렵게 만드는 방언 변체인 NL-AAVE(아프리카계 미국인 영어)에서도 베이스라인보다 뛰어난 성능을 보입니다.
• 순서 민감도: 학습 순서가 매우 중요합니다. 커리큘럼을 역순(NL $\to$ Graph)으로 진행하면 NL 단독 학습보다 성능이 떨어지는데, 이는 추상적 절차를 확립하기 위해 기호적 귀납이 선행되어야 함을 시사합니다.
• 일반화: 커리큘럼의 이점은 계획 수립을 넘어 수학(Math) 및 물리(Physics) 작업으로 확장되어, 다양한 도메인에서의 일반화 성능 향상을 보여주었습니다.

3. 일반화의 메커니즘: 생성적 유추

저자들은 성공의 원인이 데이터 빈도 때문인지, 아니면 구조적 유사성(유추) 때문인지 분석합니다.

• 상관관계 분석: 구조 매핑 이론(structure-mapping theory)을 사용하여 훈련 사례와 테스트 사례 간의 "유사 강도(analogical strength)"를 정량화했습니다. 결과에 따르면, 성공적인 교차 표현 일반화는 유사한 훈련 사례의 빈도보다 높은 유사 강도(구조적 유사성)와 유의미하게 더 높은 상관관계를 보였습니다.
• 질적 증거: 커리큘럼으로 학습된 모델은 NL 또는 그래프 단독 학습 모델에서 관찰되는 "게으른 추론(lazy reasoning)"이나 단순 합산 방식과 달리, 최장 경로를 찾기 위해 여러 경로를 반복 탐색하는 등 더 체계적인 추론을 보여줍니다.

의의 및 주장

본 논문은 LLM이 표현 간에 일반화할 수 있는 능력을 갖추고 있지만, 표준적인 사후 학습 방식으로는 이를 자연스럽게 수행하지 못한다는 점을 주장합니다. 대신, 이러한 능력은 특정한 커리큘럼을 통해 배양되어야 합니다.

• 생성적 유추: 본 연구는 성공적인 교차 표현 일반화를 모델이 표면 패턴을 암기하는 것이 아니라 공유된 기저 구조를 정렬하는 과정인 생성적 유추의 일종으로 해석합니다. 제안된 커리큘럼은 이러한 유추적 행동을 효과적으로 유도합니다.
• 학습 요구사항: 최소한의 노출로 일반화가 가능한 인간의 유추적 추론과 달리, LLM은 (적응 단계에서의) 확장된 학습을 통해 기호적 단계에서 학습된 추상적 절차를 효과적으로 활용할 수 있습니다.
• 한 خلال (Limitations): 저자들은 개선에도 불구하고 표준 NL과 방언 변체(NL-AAVE) 사이에 여전히 성능 격차가 존재함을 언급하며, 이는 기술적 공정성에 대한 지속적인 과제를 시사합니다. 또한, 훈련 시 표현의 규모를 키우는 것만으로는 문제를 해결할 수 없다고 명시했는데, 이는 단일 표현 규모 확장(single-representation scaling)이 전이(transfer)를 만들어내지 못했기 때문입니다.

결론적으로, 본 연구는 구조화된 2단계 RL 커리큘럼이 기호적 추론과 자연어 추론 사이의 간극을 메울 수 있음을 입증하며, 이를 통해 작은 모델이 복잡한 절차적 작업에서 훨씬 더 큰 제로샷 모델에 필적하는 성능을 달성할 수 있음을 보여줍니다.