🤖 machine learning

LongAct: Harnessing Intrinsic Activation Patterns for Long-Context Reinforcement Learning

이 논문은 긴 문맥 처리 시 쿼리와 키 벡터에서 관찰되는 고강도 활성화 패턴을 활용하여, 균일한 업데이트 대신 중요도 기반의 희소 업데이트 전략인 LongAct 를 제안함으로써 다양한 강화학습 알고리즘에서 장기 문맥 추론 성능을 크게 향상시킨다는 점을 설명합니다.

원저자: Bowen Ping, Zijun Chen, Tingfeng Hui, Qize Yu, Chenxuan Li, Junchi Yan, Baobao Chang

게시일 2026-04-17

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Bowen Ping, Zijun Chen, Tingfeng Hui, Qize Yu, Chenxuan Li, Junchi Yan, Baobao Chang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🧠 핵심 아이디어: "긴 이야기 속의 '핵심'을 잡으세요"

인공지능이 긴 글을 읽을 때, 모든 단어를 똑같은 중요도로 처리하면 뇌가 과부하가 걸려 엉뚱한 소리를 하거나 중요한 내용을 놓치기 쉽습니다.

LongAct는 인공지능이 긴 글을 읽을 때, **"어떤 부분이 진짜 중요한지 (활성화 값이 큰 부분)"**를 미리 알아내고, 그 부분에만 집중해서 학습하게 만드는 기술입니다.

🏗️ 비유 1: 건물의 기둥과 벽돌

기존 방식: 긴 글을 학습할 때 건물의 벽돌 하나하나를 다 똑같이 튼튼하게 만들려고 노력합니다. 하지만 시간이 너무 오래 걸리고, 오히려 중요한 기둥이 약해질 수도 있습니다.
LongAct 방식: 건물을 지을 때, **무거운 하중을 지탱하는 '주요 기둥' (고강도 활성화 영역)**만 찾아내어 그 부분에만 철근을 더 꽉꽉 채웁니다. 나머지 벽돌은 그냥 둡니다.
- 결과: 적은 노력으로 건물이 훨씬 튼튼해지고, 긴 이야기 (긴 문맥) 를 버틸 수 있게 됩니다.

📚 비유 2: 긴 책 읽기

기존 방식: 1,000 페이지짜리 책을 읽을 때, 1 페이지부터 1,000 페이지까지 모든 글자를 똑같은 눈으로 읽습니다. 지치다 보니 중요한 결론 부분에서 실수를 합니다.
LongAct 방식: 책을 읽을 때, **가장 중요한 '핵심 문장' (높은 활성화 값)**만 눈이 번쩍 뜨이게 집중해서 읽고, 나머지는 가볍게 넘깁니다.
- 이 방식은 인공지능이 학습할 때 "이 부분이 진짜 중요해!"라고 알려주는 나침반 역할을 합니다.

🚀 이 기술이 가져온 변화

이 논문의 연구자들은 이 방법을 적용해서 다음과 같은 놀라운 결과를 얻었습니다.

성능 대폭 상승: 긴 문맥을 이해하는 테스트 (LongBench v2) 에서 기존 방법보다 약 8% 더 높은 점수를 받았습니다. 이는 마치 학생이 시험에서 실수 없이 더 높은 점수를 받는 것과 같습니다.
어떤 상황에서도 잘 작동: 수학 문제를 푸는 AI, 긴 대화 기록을 분석하는 AI 등 다양한 상황에서 모두 효과가 있었습니다.
학습 효율성: 모든 부분을 다 고치는 대신, 중요한 부분만 집중적으로 고치기 때문에 학습이 더 효율적이고 안정적입니다.

🔍 왜 이런 일이 일어날까요? (연구자의 발견)

연구자들은 인공지능의 뇌 (모델) 를 자세히 들여다보니 재미있는 사실을 발견했습니다.

사실: 인공지능이 긴 글을 읽을 때, 모든 뇌 세포가 똑같이 활발하게 움직이는 게 아닙니다. 몇몇 특정 세포 (고강도 활성화 영역) 만이 아주 강하게 반응하고, 나머지는 조용히 있습니다.
실험: 연구자들은 이 '강하게 반응하는 세포'를 고의로 멈추게 해보았습니다. 그랬더니 인공지능은 순간적으로 미쳐버려서 같은 말을 반복하거나 (예: "3333..."), 논리가 완전히 무너졌습니다.
반대 실험: 반대로 '조용한 세포'를 멈추게 해보았을 때는 인공지능이 여전히 논리적으로 잘 대답했습니다.

결론: 긴 이야기를 이해하는 데는 조용한 부분보다 '큰 소리를 내는 (강하게 반응하는) 부분'이 훨씬 중요하다는 것이 증명된 것입니다. LongAct 는 이 중요한 부분만 골라서 학습을 시키는 것입니다.

💡 요약

이 논문은 **"긴 글을 잘 이해하려면, 모든 것을 다 외우려 하지 말고 가장 중요한 핵심 (강한 신호) 에만 집중해서 학습하라"**는 메시지를 전달합니다.

기존에 인공지능을 가르칠 때는 "모든 것을 다 똑같이 가르쳐야 한다"는 생각이 지배적이었는데, LongAct 는 **"중요한 것만 골라서 잘 가르치면 훨씬 더 똑똑해진다"**는 새로운 패러다임을 제시했습니다. 이는 앞으로 인공지능이 더 긴 문서, 더 복잡한 상황을 처리하는 데 큰 도움이 될 것입니다.

1. 문제 제기 (Problem Statement)

최근 대규모 언어 모델 (LLM) 의 추론 능력을 향상시키기 위해 강화 학습 (RL) 이 핵심적인 역할을 하고 있습니다. 특히 긴 문맥 (Long-Context) 을 이해하고 복잡한 추론을 수행하는 것은 대화 역사 분석이나 긴 구조화된 데이터 처리 등 현실 세계의 과제에서 매우 중요합니다.

그러나 기존의 긴 문맥 RL 연구들은 주로 다음과 같은 외부적인 요소에 집중해 왔습니다:

보상 함수 (Reward Function) 설계의 정교화
고품질 추론 데이터의 합성
점진적인 문맥 확장 (Progressive Context Scaling) 전략
모델 아키텍처 자체의 수정 (예: 희소 어텐션 도입)

핵심 문제: 이러한 기존 방법들은 모델의 내부 계산 과정을 '블랙박스'로 취급하여, 긴 문맥 처리 과정에서 모델이 생성하는 잠재 표현 (Latent Representations) 의 고유한 특성을 활용하지 못했습니다. 긴 문맥 추론은 표면적인 토큰 생성보다는 숨겨진 상태 공간 (Hidden State Space) 내의 연속적인 '사고 궤적'에 의존한다는 이전 연구들이 있음에도 불구하고, 이러한 내재적 특징을 RL 훈련 과정에 반영한 시도는 부족했습니다.

2. 방법론 (Methodology: LongAct)

저자들은 모델의 **내재적 활성화 패턴 (Intrinsic Activation Patterns)**을 활용하여 훈련을 유도하는 LongAct를 제안합니다. 이 방법론은 두 가지 통찰에 기반합니다:

고강도 활성화의 중요성: 은닉 차원 (Hidden Dimensions) 들은 모두 동등하지 않으며, 큰 크기 (High-magnitude) 를 가진 활성화 값들이 비례적으로 중요한 정보를 인코딩합니다.
긴 문맥의 희소성 (Sparsity): 긴 문맥은 본질적으로 희소 구조를 가지며, 이는 토큰 수준을 넘어 은닉 상태 차원에서도 나타납니다.

핵심 기법: 사려도 기반 희소 업데이트 (Saliency-guided Sparse Updates)

LongAct 는 균일한 파라미터 업데이트 대신, 중요한 활성화와 연결된 가중치만 선택적으로 업데이트하는 전략을 사용합니다.

고강도 활성화 식별:
- 어텐션 레이어의 Query(Q) 와 Key(K) 벡터에서 시퀀스 차원을 가로지르는 $\ell_2$ -norm 을 계산하여 전역 크기 행렬 (Global Magnitude Matrix) 을 생성합니다.
- Figure 1 에서 보듯, Q 와 K 벡터의 특정 차원에서 고강도 활성화 (Outliers) 가 희소하게 분포함을 관찰합니다.
동적 사려도 마스크 (Dynamic Saliency Mask):
- 학습 단계에서, 각 어텐션 헤드 (Head) 내에서 상위 $k$ 개의 고강도 차원을 선택합니다 (예: 상위 30%).
- 이러한 고강도 차원에 대응하는 가중치 행렬 ( $W_Q, W_K$ ) 의 특정 행 (Row) 만 학습 가능 (Trainable) 상태로 설정하고, 나머지 파라미터는 고정 (Frozen) 합니다.
- 주의: 이 마스크는 역전파 (Backpropagation) 시 그래디언트에 적용되며, 추론 (Inference) 시에는 제거되어 추가 지연 시간 없이 표준 Dense Transformer 로 작동합니다.
RL 프레임워크 통합:
- SFT(지도 미세조정) 단계를 거친 후, DAPO(Direct Preference Optimization with Adaptive Policy) 또는 GRPO 와 같은 RL 알고리즘을 적용합니다.
- LongAct 는 이러한 RL 최적화 과정에서 위와 같은 희소 그래디언트 업데이트를 수행합니다.

3. 주요 기여 (Key Contributions)

LongAct 프레임워크 제안: 모델의 내재적 고강도 활성화 패턴을 활용하여 긴 문맥 RL 을 안내하는 새로운 희소 업데이트 전략을 제시했습니다.
광범위한 실험적 검증: LongBench v2, RULER, InfiniteBench 등 다양한 벤치마크를 통해 LongAct 의 유효성을 입증했습니다.
심층 분석 및 통찰:
- 고강도 활성화만 업데이트하는 것이 성능 향상의 핵심임을 입증했습니다.
- 고강도 활성화가 모델의 추론 일관성에 필수적이며, 이를 방해할 경우 모델이 붕괴됨을 실험적으로 보였습니다.
- 다양한 RL 알고리즘 (DAPO, GRPO 등) 과 모델 크기 (4B, 8B) 에서 일관된 성능 향상을 보였습니다.

4. 실험 결과 (Results)

Qwen3-8B 및 Qwen3-4B 모델을 기반으로 한 실험 결과는 다음과 같습니다:

LongBench v2:
- LongAct 를 적용한 모델은 약 8% 의 향상을 기록했습니다 (Qwen3-8B-SFT w/ DAPO 대비 32.80 → 36.73).
- 공식 출시된 Qwen3-8B* 모델 (33.60) 보다도 3.13 포인트 높은 성능을 달성했습니다.
- 특히 난이도가 높은 (Hard) 문제와 긴 문맥 (Long) 구간에서 가장 큰 개선을 보였습니다.
RULER 및 InfiniteBench:
- RULER-128K 에서 4% 향상 (평균 51.15) 을 기록하며 긴 문맥 일반화 능력을 입증했습니다.
- InfiniteBench 의 다양한 태스크 (요약, QA, 다중 선택 추론 등) 에서도 일관된 성능 향상을 보였습니다.
Ablation Study (초기화 및 분석):
- 활성화 선택 전략: 고강도 값 (Massive values) 만 선택하는 것이 무작위 선택이나 저강도 값 선택보다 월등히 우수했습니다.
- 희소도 (Sparsity Ratio): 약 30% 의 가중치만 업데이트할 때 최적의 성능을 보였습니다. 40% 이상으로 늘리면 오히려 성능이 저하되기도 했습니다.
- RL 알고리즘: DAPO, GRPO, KL-Cov 등 다양한 RL 알고리즘과 결합 시에도 성능 향상이 유지되어 방법론의 범용성을 입증했습니다.
단문맥 일반화:
- GSM8K, HumanEval 등 단문맥 벤치마크에서도 LongAct 가 SFT 및 전체 파라미터 RL 보다 우수한 성능을 보여, 이 방법이 긴 문맥 전용이 아닌 강력한 일반 RL 최적화기임을 시사합니다.

5. 의의 및 결론 (Significance & Conclusion)

내부 메커니즘의 활용: 기존에 외부 신호나 데이터에 의존하던 RL 접근법에서 벗어나, 모델이 스스로 학습한 **내재적 표현 (Intrinsic Representations)**을 훈련의 나침반으로 삼았다는 점에서 혁신적입니다.
효율성과 성능의 균형: 전체 파라미터를 업데이트하지 않고 중요한 가중치만 선택적으로 업데이트함으로써, 계산 효율성을 유지하면서도 긴 문맥 추론 능력을 극대화했습니다.
실제 적용 가능성: 추론 시에는 추가적인 구조 변경 없이 기존 모델과 동일하게 작동하므로, 실제 서비스 환경에 적용하기 용이합니다.

결론적으로, LongAct 는 긴 문맥 처리를 위한 RL 훈련 패러다임을 '외부적 최적화'에서 '내재적 구조 활용'으로 전환시켰으며, 고강도 활성화가 모델의 추론 능력을 유지하는 핵심 '앵커 (Anchor)' 역할을 한다는 것을 증명했습니다.