📊 statistics

Transformers with RL or SFT Provably Learn Sparse Boolean Functions, But Differently

본 논문은 프로세스 보상을 활용한 강화 학습과 지도 미세 조정이 모두 체인 오브 씽킹 추론을 통해 단층 트랜스포머가 희소 불리 함수를 증명 가능하게 학습하게 하지만, 학습 역학 측면에서 근본적인 차이가 있어 강화 학습은 전체 추론 체인을 동시에 습득하는 반면 지도 미세 조정은 단계별로 학습한다는 것을 이론적으로 입증한다.

원저자: Bochen Lyu, Yiyang Jia, Xiaohao Cai, Zhanxing Zhu

게시일 2026-05-27

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Bochen Lyu, Yiyang Jia, Xiaohao Cai, Zhanxing Zhu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

매우 똑똑하지만 약간 혼란스러운 로봇 ( Transformer ) 이 복잡한 퍼즐을 풀어야 한다고 상상해 보세요. 이 퍼즐은 부울 함수 (Boolean function) 로, 답이 "예" (+1) 또는 "아니오" (-1) 중 하나인 논리 문제를 fancy 하게 표현한 것입니다. 구체적으로 이 논문은 "희소 (sparse)"한 퍼즐을 다룹니다. 즉, 정답이 많은 잡음 속에 숨겨진 몇 가지 특정 정보에만 의존한다는 뜻입니다.

이러한 퍼즐을 해결하기 위해 로봇은 Chain-of-Thought (CoT) 라는 전략을 사용합니다. 정답으로 바로 뛰어드는 대신, 인간이 연산용지에 논리 문제를 단계별로 풀어가듯 문제를 작은 중간 단계들의 연속으로 분해합니다.

이 논문은 로봇이 CoT 를 효과적으로 사용하도록 가르치는 두 가지 다른 방법을 조사합니다: 지도 미세 조정 (Supervised Fine-Tuning, SFT) 과 강화 학습 (Reinforcement Learning, RL) 입니다. 저자들은 두 방법 모두 작동하지만, 로봇을 근본적으로 다른 방식으로 가르친다고 증명합니다.

다음은 간단한 비유를 사용한 상세 설명입니다:

1. 퍼즐: 재귀적 분해 (Recursive Decomposition)

퍼즐을 거대한 나무라고 상상해 보세요. 꼭대기의 정답을 찾으려면 나무 아래쪽에서 작은 2 개 조각 논리 문제를 풀고, 그 답들을 결합하여 조금 더 큰 2 개 조각 문제를 풀고, 이를 꼭대기까지 반복해야 합니다.

목표: 로봇은 각 단계에 필요한 두 가지 특정 정보 ( "관련된" 잎사귀) 만을 보고 나머지 잡음은 무시하는 법을 배워야 합니다.

2. 두 명의 교사

교사 A: 엄격한 훈련 사관 (SFT)

지도 미세 조정 (SFT) 은 로봇에게 퍼즐의 모든 단계에 대한 완벽한 정답 키를 제공하는 교사와 같습니다.

작동 방식: 교사는 "1 단계의 답은 X 입니다. 2 단계의 답은 Y 입니다"라고 말합니다.
문제점: 로봇은 1 단계에 대해 방금 쓴 내용을 바탕으로 2 단계의 답을 생성해야 합니다.
결과 (단계별 학습): 이 논문은 이 로봇이 한 단계씩 배운다고 증명합니다.
- 비유: 춤 동작을 배우려 한다고 상상해 보세요. 첫 동작을 실수하면 시작 위치가 틀리기 때문에 두 번째 동작을 배울 수 없습니다. 로봇은 2 단계를 시작하기 전에 1 단계를 완벽하게 마스터해야 합니다. 1 단계를 수정하는 데 한 번의 훈련 세션이 필요하고, 2 단계를 수정하는 데 또 다른 세션이 필요하며, 이는 계속 반복됩니다. 이는 느리고 선형적인 과정입니다.

교사 B: 과정 코치 (과정 보상 기반 RL)

강화 학습 (RL) 은 최종 점수만 보는 것이 아니라 로봇이 취하는 모든 단일 동작 에 대해 피드백을 제공하는 코치와 같습니다.

작동 방식: 로봇이 퍼즐을 풀려고 시도합니다. 작은 단계를 올바르게 수행하면 코치는 즉시 "잘했다"는 보상을 줍니다. 잘못하면 페널티를 받습니다.
결과 (동시 학습): 이 논문은 이 로봇이 단계 전체를 한 번에 배운다고 증명합니다.
- 비유: 코치가 "1 번 동작에서 발놀림이 좋네! 5 번 동작에서 손 위치가 좋네! 3 번 동작에서 팔꿈치가 나쁘네!"라고 동시에 외치는 상황을 상상해 보세요. 이전 단계들이 완벽했는지 여부와 상관없이 각 단계마다 구체적인 피드백을 받기 때문에 로봇은 단일 훈련 세션에서 전체 동작을 조정할 수 있습니다. 이는 춤 전체를 동시에 배우는 것입니다.

3. 큰 발견: "과정" 대 "결과"

이 논문은 이러한 교사들이 피드백을 제공하는 방식의 중요한 차이를 강조합니다:

SFT 는 로봇의 이전 출력에 의존합니다. 로봇이 처음에 틀리면 다음 단계의 "진실 (ground truth)"이 혼란스러운 잡음이 됩니다. 이는 단계별 학습을 강제합니다.
RL (특히 과정 보상 을 사용하는 경우) 은 로봇에게 각 단계에 대한 올바른 "진실"을 독립적으로 제공합니다. 로봇이 1 단계를 망쳤더라도 코치는 2 단계가 어떻게 되어야 했는지 여전히 알고 있으며 그에 따라 보상하거나 처벌합니다. 이는 "한 번에 모두" 학습을 가능하게 합니다.

4. "어려운" 퍼즐은 어떨까요?

이 논문은 세 가지 특정 유형의 논리 퍼즐에 대해 이를 테스트했습니다:

k-PARITY: 스위치 그룹이 "켜짐" 위치를 가진 개수가 짝수인지 홀수인지 확인하는 것과 같습니다. (이는 AI 가 도움 없이 배우기 notoriously 어렵습니다).
k-AND: 모든 특정 스위치가 "켜짐" 상태인지 확인합니다.
k-OR: 적어도 하나 의 특정 스위치가 "켜짐" 상태인지 확인합니다.

이 논문은 수학적으로 세 가지 퍼즐 모두에서 로봇이 "중요한" 정보와 "잡음"을 구별할 수만 있다면 두 가지 교수법 모두 작동함을 증명합니다.

연구 결과 요약

둘 다 작동합니다: SFT 나 RL 중 하나를 사용하여 Transformer 에 복잡한 추론을 가르칠 수 있습니다.
둘은 다릅니다:
- SFT 는 기본을 마스터해야 다음 단계로 넘어가는 학생과 같습니다. 이는 단계별로 배웁니다.
- RL (과정 보상 사용) 은 문제의 모든 특정 부분에 대한 즉각적인 피드백을 받는 학생과 같습니다. 이는 전체 체인을 동시에 배웁니다.
주의사항: 실제 생활에서 SFT 와 RL 을 비교할 때는 주의해야 합니다. 교사가 피드백을 제공하는 방식을 변경하면 (예: 모든 단계에서의 "과정 보상" 대신 마지막에만 "최종 보상"을 사용하는 경우), 학습 행동이 완전히 바뀝니다. 이 논문은 두 방법을 비교할 때 방법 자체뿐만 아니라 보상이 어떻게 설계되었는지를 통제해야 함을 시사합니다.

요약하자면, 이 논문은 두 가지 방법 모두 로봇에게 논리적으로 생각하도록 가르칠 수 있지만, 서로 다른 "학습 속도"와 "교수 스타일"로 그렇게 한다는 것을 보여줍니다. 이러한 차이를 이해하는 것이 더 나은 AI 를 구축하는 열쇠입니다.

기술 요약: RL 또는 SFT 를 적용한 트랜스포머는 희소 부울 함수를 학습하지만, 그 방식은 다릅니다

문제 제기
트랜스포머 아키텍처 기반의 대규모 언어 모델 (LLM) 은 사고의 사슬 (Chain-of-Thought, CoT) 프롬프팅을 통해 뛰어난 추론 능력을 입증해 왔습니다. 지도 미세 조정 (SFT) 과 강화 학습 (RL) 은 이러한 능력을 향상시키는 주요 방법이지만, 그 학습 역학의 이론적 메커니즘은 여전히 잘 이해되지 않고 있습니다. 구체적으로, RL(특히 과정 기반 보상을 사용하는 경우) 과 SFT(특히 교사 강제 없이 사용하는 경우) 가 어떻게 트랜스포머가 종단 간 방식으로 학습하기 어려운 복잡하고 희소한 부울 함수를 학습하게 하는지를 비교하는 엄밀한 분석이 부족합니다. 본 연구는 중간 추론 단계를 갖춘 단일 레이어 트랜스포머를 사용하여 $k$ -희소 부울 함수 (소수의 $k$ 개 입력 비트에 의해 결정되는 함수) 의 학습 가능성을 조사함으로써 이 격차를 해소합니다.

방법론
저자들은 특정 클래스의 $k$ -희소 부울 함수에 대한 RL 과 SFT 의 학습 역학을 분석하기 위한 통합 이론적 프레임워크를 제안합니다. 이러한 함수는 고정된 2-희소 부울 함수 (예: 패리티, AND, OR) 로 재귀적으로 분해되어 CoT 와 유사한 추론 체인을 형성합니다.

모델 아키텍처: 본 연구는 위치 인코딩, 자기 주의 (self-attention) 레이어, 그리고 피드포워드 레이어로 구성된 단순화된 단일 레이어 트랜스포머를 활용합니다. 이 모델은 최종 답변을 생성하기 전에 중간 추론 단계 ( $y^{(t)}$ ) 를 반복적으로 생성하도록 설계되었습니다.
"사전 훈련된" 마스크: 이론적 처리 가능성을 보장하고 사전 훈련을 통해 얻은 구조적 사전 지식을 시뮬레이션하기 위해, 저자들은 주의 가중치에 특정 "사전 훈련된" 마스크를 부과합니다. 이 마스크는 추론 토큰의 주의를 재귀적 분해에 따라 정의된 관련 자식 노드와 입력 시퀀스로 제한하여 오류 전파를 효과적으로 제어합니다.
학습 패러다임:
- 과정 보상 (Process Reward) 을 통한 RL: 트랜스포머는 정책 경사 (policy gradient) 를 통해 최적화되어, 최종 결과뿐만 아니라 각 중간 추론 단계 ( $r_t$ ) 에 보상이 할당되는 보상 함수를 최대화합니다.
- 교사 강제 없는 SFT: 트랜스포머는 생성된 추론 체인을 실제 레이블과 비교하여 손실 (힌지 손실) 을 최소화하도록 훈련됩니다. 핵심적으로, 모델은 교사 강제 (ground-truth 접두사 제공) 를 받는 대신 훈련 중 자체적으로 중간 단계를 생성 (자기회귀 생성) 하여 훈련 - 추론 불일치를 해결합니다.
핵심 분석 도구: 저자들은 "임계 기울기 성분"( $\gamma$ ) 을 도입합니다. 관련 위치 (자식 노드) 에 대한 기울기 신호가 무관한 위치에 비해 엄격하게 더 크다는 이 성분의 분리가 증명 가능한 학습성을 위한 충분 조건임을 보여줍니다.

주요 기여 및 결과
본 논문은 단일 레이어 트랜스포머가 RL 과 SFT 를 통해 $k$ -희소 부울 함수를 증명 가능하게 학습할 수 있는 충분 조건을 확립합니다. 주요 발견 사항은 다음과 같습니다.

통합 학습 가능성 조건: RL 과 SFT 모두 관련 위치와 무관한 위치를 분리하는 임계 기울기 성분이 존재할 경우 성공합니다. 이 조건은 $k$ -PARITY, $k$ -AND, $k$ -OR 세 가지 기본 예시에 대해 검증되었습니다.
구별되는 학습 역학:
- RL(과정 보상): 분리 조건 하에서 RL 은 단일 기울기 업데이트로 전체 CoT 추론 체인을 동시에 학습합니다. 과정 보상은 다른 단계의 현재 상태와 관계없이 모든 단계에 정보적 신호를 제공하므로, 모델은 즉시 전체 추론 능력을 습득할 수 있습니다.
- SFT(교사 강제 없음): 반면, SFT 는 단계별 학습 행동을 보입니다. 생성의 자기회귀적 특성으로 인해 모델은 $t-1$ 단계가 올바르게 생성될 때까지 $t$ 단계를 신뢰할 수 있게 학습할 수 없습니다. 결과적으로 SFT 는 전체 체인을 학습하기 위해 $T$ 개의 기울기 업데이트 (여기서 $T$ 는 체인 길이) 가 필요하며, 업데이트당 한 단계씩 해결합니다.
최종 보상의 어려움: 본 논문은 최종 (결과 기반) 보상만으로 최적화된 RL 은 이러한 함수를 효율적으로 학습하지 못함을 증명합니다. 정책 경사의 분산이 기하급수적으로 작아 신호가 노이즈에 묻히기 때문에, 복잡한 추론 작업에는 과정 보상이 필수적입니다.
직렬 CoT 로의 확장: 분석은 이진 트리 분해를 넘어 실용적인 LLM 에서 흔히 볼 수 있는 직렬 CoT 구조로 확장되었으며, 적절한 마스크 하에서 동일한 학습 역학 (RL 은 동시적, SFT 는 단계별) 이 유지됨을 확인했습니다.

의의 및 주장
저자들은 본 연구가 과정 보상을 적용한 RL 의 학습 역학에 대한 최초의 이론적 특성을 제시하여 문헌의 중요한 격차를 메웠다고 주장합니다. 기존 이론적 연구 (예: Kim & Suzuki, 2025) 에서 흔히 사용되던 교사 강제와 데이터 증강 전략을 제거함으로써, RL 과 SFT 간의 더 현실적인 비교를 제공합니다.

이 연구의 의의는 두 방법 모두 학습 가능성을 달성할 수 있지만, 근본적으로 다른 메커니즘을 통해 이를 이루고 있음을 드러낸다는 점에 있습니다.

과정 보상을 통한 RL 은 전체 체인을 동시에 학습함으로써 교사 강제를 적용한 SFT 의 효율성을 모방합니다.
교사 강제 없는 SFT 는 외부 커리큘럼 학습이나 데이터 필터링 없이도 자기회귀 훈련의 고유한 속성으로 자연스럽게 단계별 커리큘럼을 유도합니다.

본 논문은 RL 과 SFT 간의 경험적 비교는 보상 설계 (과정 대 결과) 와 훈련 체계 (교사 강제 대 자기회귀 생성) 와 같은 요인들을 신중하게 통제해야 한다고 결론지으며, 이러한 요인들이 학습 역학을 크게 변화시켜 최적화 방법 자체의 비교를 혼란스럽게 할 수 있음을 지적합니다.