🤖 AI

Reasoning or Memorization? Direction-Aware Diversity Exploration in LLM Reinforcement Learning

이 논문은 대규모 언어 모델에서 추론과 암기를 구분하여 탐색을 암기된 지름길이 아닌 진정한 추론 능력의 향상으로 유도하는 방향 인식 강화 학습 프레임워크인 DiRL을 소개하며, 수학 및 일반 추론 벤치마크에서 상당한 성능 향상을 입증한다.

원저자: Jiangnan Xia, Yucheng Shi, Yu Yang, Kishan Panaganti, Zhenwen Liang, Ninghao Liu

게시일 2026-06-10

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jiangnan Xia, Yucheng Shi, Yu Yang, Kishan Panaganti, Zhenwen Liang, Ninghao Liu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 아주 똑똑하지만 약간은 혼란스러워하는 학생(AI)에게 복잡한 수학 문제를 푸는 법을 가르치고 있다고 상상해 보세요. 당신은 학생이 다양한 접근 방식을 시도하고, 실수를 저지르고, 무엇이 효과적인지 스스로 깨닫도록 유도하며 가르치고 싶어 합니다. 이것을 **강화 학습(Reinforcement Learning)**이라고 부릅니다.

하지만 여기 함정이 하나 있습니다. 학생에게는 두 가지 학습 방식이 있습니다:

진정한 추론(True Reasoning): "내가 X를 하면 Y가 일어난다"와 같이 단계별로 실제로 생각하는 것.
암기(Memorization): 이전에 봤던 특정 질문에 대한 답을 그냥 기억하거나, 오직 그 문제에만 적용되는 운 좋은 지름길을 사용하는 것.

문제점: "무작위 추측"의 함정

기존의 AI 교육 방식은 마치 이런 선생님과 같았습니다: "무엇을 했든 간에, 새로운 시도를 했다는 점 자체를 칭찬해 주는" 방식입니다.

만약 학생이 새롭고 영리한 방식으로 문제를 풀었다면, 선생님은 환호했습니다.
하지만 학생이 단순히 암기한 답에서 숫자 하나만 바꿨을 때(예: 원리를 이해하지 못한 채 "5"를 "6"으로 바꿈), 선생님은 그것이 "다르다"는 이유만으로 똑같이 환호했습니다.

이것은 좋지 않은 방식입니다. 어떤 차이점이든 보상하게 되면, AI는 실제로 생각하는 법을 배우는 대신 패턴과 지름길을 암기하며 게으러지기 시작합니다. 이는 마치 연습 시험의 정답지를 통째로 외웠지만, 숫자가 조금만 바뀌어도 시험을 망쳐버리는 학생과 같습니다.

해결책: DiRL (방향 인식 강화 학습, Direction-Aware Reinforcement Learning)

저자들은 DiRL이라는 새로운 방법을 제안합니다. DiRL은 "좋은 차이"와 "나쁜 차이"를 구분할 수 있는 똑똑한 나침반이라고 생각하면 됩니다.

작동 방식은 다음과 같습니다:

1. 지도 그리기 (방향)

학습이 시작되기 전, 연구자들은 AI의 뇌를 들여다보고 지도 위에 선 하나를 긋습니다.

선의 한쪽은 "추론"(열심히 생각하기)입니다.
다른 한쪽은 "암기"(사실을 회상하기)입니다.
그들은 AI의 뇌가 생각할 때와 단순히 기억할 때가 각각 어떻게 다른지 정확히 파악합니다. 이 선은 훈련 내내 고정되어 있습니다.

2. "방향 인식" 체크

AI가 문제를 풀려고 시도할 때마다, DiRL은 다음과 같이 확인합니다: "이 새로운 시도가 우리를 '추론' 쪽으로 이동시켰는가, 아니면 그저 '암기' 영역 주변에서 꿈틀거리고 있는가?"

시나리오 A (좋은 경우): AI가 논리적인 경로를 시도합니다. 나침반이 "추론"을 향합니다.
- 결과: 선생님은 큰 보너스를 줍니다. "훌륭해! 더 깊게 생각하고 있구나!"
시나리오 B (나쁜 경우): AI가 암기된 답의 변형인 단순한 지름길을 시도합니다. 나침반이 "암기"를 향합니다.
- 결령: 선생님은 벌칙을 주거나 보상을 줄입니다. "그냥 추측하지 말고, 직접 생각하며 풀어보렴."

3. 보상 체계

기존 방식에서는 AI가 단순히 "새롭다(novel)"는 이유만으로 보상을 받았습니다. 하지만 DiRL에서 AI는 "올바른 방향으로 새로운 시도"를 했을 때만 보상을 받습니다.

만약 AI가 실수를 하더라도 추론 과정을 거쳤다면, 올end는 올바르게 생각하는 방법을 배우고 있기 때문에 여전히 작은 보상을 받습니다.
만약 AI가 정답을 맞혔더라도 암기를 통해 맞힌 것이라면, 근본적인 논리를 배우지 못했기에 더 적은 보상을 받습니다.

이것이 왜 중요한가

연구진은 이 방법을 고등학교 경시대회 수준의 어려운 수학 문제에 적용하여 테스트했습니다.

결과: DiRL로 훈련된 AI는 한 번도 본 적 없는 문제를 푸는 능력이 현저히 향식되었습니다.
증거: 연구진이 문제의 숫자나 형식을 바꾸어(암기가 무용지물이 되도록) 만들었을 때도, DiRL로 훈련된 AI는 여전히 우수한 성적을 냈습니다. 이는 AI가 단순히 암기하는 것이 아니라 실제로 추론하는 법을 배웠음을 증명합니다.

핵심 요약

강아지를 훈련시킨다고 상상해 보세요.

기존 방식: 강아지가 하는 행동이 무엇이든 간에, 무언가 다른 행동을 할 때마다 간식을 줍니다. 결국 강아지는 간식을 받기 위해 제자리에서 뱅글뱅글 돌기만 할 것입니다.
DiRL 방식: 공을 잡는 데 도움이 되는 "새로운 행동"을 할 때만 간식을 줍니다. 제자리에서 뱅글뱅글 도는 행동은 무시하거나(혹은 교정하거나) 합니다.

이 논문은 우리가 어떤 종류의 다양성에 보상을 주느냐에 따라, AI를 단순한 앵무새가 아닌 인간처럼 추론하는 존재로 가르칠 수 있음을 보여줍니다.

기술 요약: DiRL – LLM 강화 학습에서의 방향 인지적 다양성 탐색 (Direction-Aware Diversity Exploration in LLM Reinforcement Learning)

문제 정의
강화 학습(RL)은 대규모 언어 모델(LLM)의 복잡한 추론 능력을 이끌어내기 위한 주요 패러다임이 되었습니다. 그러나 강화 학습의 핵심 과제는 탐색(exploration)입니다. 즉, 정책(policy)이 좁고 차원이 낮은 최적해(suboptimal modes)에 갇히는 것을 방지하기 위해 다양한 궤적(trajectories)을 샘플링해야 합니다. 기존의 탐색 방법들은 의미론적 공간이나 그래디언트 공간에서 다양성을 장려하지만, 그 다양성의 '근원'을 구분하지는 못합니다. 하나의 궤적이 진정으로 새로운 추론 경로를 따르기 때문에 새로운 것인지, 아니면 단순히 암기된 패턴과 지름길을 변형했기 때문에 새로운 것인지를 구분하지 못하는 것입니다. 현재의 접근 방식들은 이러한 두 가지 행동을 동일하게 보상하며, 이는 탐서가 진정한 추론 능력의 향상이 아닌 암기 패턴의 강화로 이어질 위험이 있습니다. 심지어 최적화 역학을 더 잘 반영하기 위해 메트릭을 시맨틱 임베딩에서 그래디언트 공간으로 전환하더라도, 새로운 업데이트가 추론 능력을 높이는 것이 아니라 암기를 강화할 수 있습니다.

방법론: DiRL 프레임워크
본 논문은 **DiRL (Direction-Aware Reinforcement Learning)**을 제안합니다. 이 프레임워크는 정책의 자체 표현(representation)으로부터 도출된 내부적인 "추론-암기 방향(reasoning-memorization direction)"에 탐색을 고정합니다. DiRL은 표준 GRPO(Group Relative Policy Optimization) 알고리즘에 매끄럽게 통합됩니다. 방법론은 다음 네 가지 주요 단계로 진행됩니다:

추론-암기 방향 추출 (Reasoning-Memorization Direction Extraction):
RL 학습 전, 이 방법은 정책의 잔차 스트림(residual stream) 내에서 고정된 방향 벡터 $k$ 를 구축합니다. 이는 두 개의 서로 다른 작업 집합인 $D^+$ (다단계 수학과 같은 추론 집적 작업)와 $D^-$ (사실적 회상과 같은 메모리 집적 작업) 사이의 평균 활성화 차이를 계산함으로써 달성됩니다. 이 방향은 응답이 추론 행동에 부합하는지 아니면 암기 행동에 부합하는지를 구분하는 기하학적 닻(anchor) 역할을 합니다.
방향 가중치 그래디언트 특징 (Direction-Weighted Gradient Features):
각 응답에 대해, DiRL은 해당 응답이 정책을 어떻게 업데이트할지를 요약하는 그래디언트 특징 $\Phi^{(i)}$ 를 구성합니다. 표준 그래디엔트 특징과 달리, 이들은 각 토큰의 은닉 상태(hidden state)가 추론 방향 $k$ 와 얼마나 정렬되는지에 따라 가중치가 부여됩니다. 추론 측면에 정렬된 토큰은 더 높은 가중치를 받고, 암기 측면에 정렬된 토큰은 더 낮은 가중치를 받습니다. 이를 통해 결과적인 특징 벡터가 암기가 아닌 추론에서의 다양성을 주로 반영하도록 보장합니다.
추론 기반 탐색 점수 (Reasoning-Anchored Exploration Score):
프레임워크는 평균 은닉 상태의 $k$ 에 대한 투영(projection)을 기반으로 롤아웃 그룹을 두 개의 하위 그룹, 즉 추론 정렬 하위 그룹( $G_R$ )과 암기 정렬 하위 그룹( $G_M$ )으로 나눕니다.
- $G_R$ 에 속한 응답의 경우, 탐색 점수는 다른 추론 정렬 동료들과의 신선도(novelity)를 측정합니다.
- $G_M$ 에 속한 응답의 경우, 탐색 점수는 추론 정렬 업데이트 방향으로부터의 거리를 측정합니다.
  이 설계는 유효한 추론 경로의 공간을 확장할 때만 다양성에 보상을 주고, 암기의 변형은 가치가 낮거나 해로운 것으로 취급하여 다양성이 오직 추론 경로를 확장하는 데에만 기여하도록 보장합니다.
방향 인지적 보상 형성 (Direction-Aware Reward Shaping):
탐색 점수는 원래의 이진 보상(binary rewards)을 형성하는 데 사용됩니다. 추론 정렬된 정답 응답은 보상이 증폭되는 반면, 오답 추론 시도는 (유용한 방향적 업데이트를 제공하므로) 페널티가 완화됩니다. 반대로, 암기 정렬된 정답 응답은 지름길을 방지하기 위해 보상이 감소하며, 오답 암기 응답은 더 엄격하게 처벌됩니다. 이렇게 형성된 보상은 표준 GRPO의 어드밴티지(advantage) 계산에 전달됩니다.

주요 기여

DiRL 프레임워크: 추론과 암기의 구분에 탐색을 명시적으로 고정하여, 정책이 암기된 패턴이 아닌 추론을 향하도록 유도하는 방향 인지적 RL 프레임워크를 도입했습니다.
새로운 탐색 메커니즘: 방향 가중치 그래디언트 특징 공간에서 신선도를 측정하고, 암기 정렬된 변형은 억제하면서 추론 정렬된 탐색을 선택적으로 증폭하는 메커니즘을 개발했습니다.
실증적 검증: 수학 및 일반 추론 벤치마크에서 표준 GRPO 및 기타 다양성 기반 탐색 방법과 비교하여 DiRL이 성능을 개선함을 입증하는 광범위한 실험을 수행했습니다.

실험 결과
저자들은 Qwen3-1.7B 및 Qwen3-4B 백본을 사용하여 여러 벤치마크에서 DiRL을 평가했습니다:

수학적 추론: MATH500, AMC, AIME24, AIME25를 포함한 벤치마크에서 DiRL은 베이스라인(GRPO, Entropy Bonus, EVOL-RL, G2RL)보다 일관되게 우수한 성능을 보였습니다. 예를 들어, Qwen3-4B에서 DiRL은 MATH500에서 83.0의 pass@1을 달성했으며(GRPO 대비 +5.6), AIME24에서 19.6을 달성했습니다(GRPO 대비 +7.3).
일반 추론: GPQA 및 MMLU-Pro에서 DiRL은 일관된 개선을 보여주었으며, 이는 수학적 문제 해결을 넘어 일반적인 추론 능력까지 이점이 확장됨을 나타냅니다.
일반화 및 강건성: DiRL로 학습된 모델은 GSM-Symbolic 및 그 변형된 버전에서 우수한 성능을 보여, 모델이 특정 벤치마크 패턴에 과적합되는 대신 근본적인 추론 절차를 학습했음을 시사합니다.
롤아웃 분석: DiRL은 롤아웃 내 추론 정렬 응답의 비율을 증가시켰습니다 (예: Qwen3-4B의 AIME25에서 45.8%에서 60.0%로 증가).
효율성: 이 방법은 순전파(forward-pass) 활성화와 사전에 추출된 정적 방향 벡터에 의존하므로, 단계당 훈련 시간의 증가가 매우 적습니다 (약 13-18% 증가).

의의 및 주장
본 논문은 LLM 강화 학습에서의 효과적인 탐색은 단순히 다양한 궤적을 생성하는 것에 그치지 않고, 진정으로 추론을 확장하는 궤적을 장려하는 데 집중해야 한다고 주장합니다. LLM의 내부 기하학을 활용하여 추론과 암기를 구분함으로써, DiRL은 RL을 더 견고한 추론 행동으로 유도하는 메커니즘을 제공합니다. 저자들은 이 연구가 내부 모델 시그니처를 사용하여 학습 역학을 최적화하는 표현 인지적 탐색(representation-aware exploration)에 대한 미래 연구를 자극한다고 상정합니다. 또한, 현재의 접근 방식이 대표적인 데이터로부터 추출된 단일 글로벌 방향에 의존한다는 한계를 인정하며, 향후 연구에서는 추론 행동의 다중 잠재 차원을 발견하는 방향을 탐구할 수 있다고 언급했습니다.