💬 NLP

Reinforced Attention Learning

이 논문은 멀티모달 LLM 의 지각 및 정합성 향상을 위해 출력 토큰이 아닌 내부 어텐션 분포를 직접 최적화하는 강화 어텐션 학습 (RAL) 과 온-폴리시 어텐션 증류 기법을 제안하고, 다양한 벤치마크에서 기존 방법보다 우수한 성능을 입증합니다.

원저자: Bangzheng Li, Jianmo Ni, Chen Qu, Ian Miao, Liu Yang, Xingyu Fu, Muhao Chen, Derek Zhiyuan Cheng

게시일 2026-02-16

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Bangzheng Li, Jianmo Ni, Chen Qu, Ian Miao, Liu Yang, Xingyu Fu, Muhao Chen, Derek Zhiyuan Cheng

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🎨 핵심 아이디어: "무엇을 말하느냐"보다 "무엇을 보느냐"가 중요하다

기존의 인공지능 (LLM) 학습 방식은 **"정답을 맞추기 위해 어떤 단어를 말해야 할까?"**에 집중했습니다. 마치 시험을 볼 때, 정답을 외우기 위해 문제지 전체를 읽기보다 정답이 나올 것 같은 부분만 대충 훑어보는 것과 비슷합니다.

하지만 이 논문은 **"정답을 맞추기 위해 어디를 집중해서 봐야 할까?"**라는 질문을 던집니다.

🧑‍🍳 비유: 요리를 하는 셰프

기존 방식 (기존 RL): 셰프가 "수프에 야채가 들어갔다"라고 말해야 정답을 맞춘다고 생각해요. 그래서 셰프는 야채를 잘게 다지는 과정은 무시하고, 그냥 "야채"라는 단어만 반복해서 외우려고 합니다. 결과는? 야채를 제대로 못 보고 엉뚱한 걸 넣거나, 수프가 타버려도 모르고 "맛있다"라고 말하게 됩니다.
새로운 방식 (RAL): 셰프에게 "야채를 잘게 다지는 손놀림 (주의 집중) 을 잘해라"라고 가르칩니다. 정답을 말하기 전에, 어떤 재료를 보고, 어디를 집중해서 보느냐를 학습시키는 거죠. 이렇게 하면 셰프는 실제로 야채를 잘 보고, 더 맛있는 수프를 만들 수 있게 됩니다.

🚀 이 방법이 왜 필요한가요?

최근 인공지능은 "생각하는 과정 (Chain of Thought)"을 길게 말하게 하면 똑똑해진다고 알려져 있습니다. 하지만 이미지나 비디오를 볼 때는 이 방법이 잘 먹히지 않습니다.

문제점: 인공지능이 이미지의 모든 부분을 길게 설명하려다 보니, 정작 중요한 부분 (예: 그림 속의 빨간색 자동차) 을 놓치고, 오히려 헛소리를 하거나 (할루시네이션), 원래 가지고 있던 시각적 능력을 잃어버리는 경우가 생깁니다.
RAL 의 해결책: 텍스트로 길게 설명하는 대신, 인공지능의 '눈 (주의 집중)'이 어디에 머물러야 하는지를 직접 학습시킵니다. 마치 카메라의 초점을 맞추는 렌즈처럼, 중요한 부분에 초점을 딱! 맞추는 능력을 키워주는 것입니다.

🎓 두 가지 주요 기술

이 논문은 두 가지 핵심 기술을 제안합니다.

1. 강화된 주의 학습 (RAL): "잘한 일을 기억해라"

비유: 학생이 시험을 풀 때, 정답을 맞췄다면 그 순간 어떤 문제를 보고, 어디를 집중해서 풀었는지를 기억하게 해주는 것입니다.
효과: 인공지능이 "정답을 맞췄다"는 보상을 받으면, 그 순간의 **주의 집중 패턴 (어디를 봤는지)**을 더 강화합니다. 반대로 틀렸다면, "그때는 엉뚱한 곳을 봤구나"라고 깨닫고 그 집중 방식을 고칩니다.
결과: 단순히 정답을 외우는 게 아니라, 문제를 풀 때 어떻게 정보를 찾아내는지를 배우게 되어 훨씬 똑똑해집니다.

2. 온-폴리시 주의 증류 (On-Policy Attention Distillation): "스승의 눈빛을 배워라"

비유: 뛰어난 요리사 (스승) 가 요리를 할 때, 어떤 재료를 먼저 보고, 어떤 향을 맡는지 그 집중하는 눈빛을 학생이 그대로 따라 하는 것입니다.
효과: 기존에는 학생이 스승이 쓴 '레시피 (정답 텍스트)'만 따라 했지만, RAL 은 스승이 **어떤 재료를 보고 집중했는지 (주의 분포)**까지 배웁니다.
결과: 학생은 단순히 말만 따라 하는 게 아니라, 스승처럼 어디를 봐야 하는지를 본능적으로 터득하게 되어 훨씬 뛰어난 능력을 갖게 됩니다.

📊 실험 결과: 무엇이 달라졌나요?

연구진은 다양한 이미지와 비디오 퀴즈 (예: "이 비디오에서 파란색 페인트 통은 언제 나왔나요?") 를 테스트했습니다.

기존 방법 (GRPO): 때로는 정답을 맞추지만, 때로는 엉뚱한 말을 하거나 원래 능력을 잃어버리기도 했습니다.
RAL 방법: 모든 테스트에서 일관되게 좋은 점수를 받았습니다. 특히 긴 비디오를 보거나 복잡한 그림을 분석할 때, 중요한 부분을 놓치지 않고 정확하게 찾아내는 능력이 크게 향상되었습니다.

💡 결론: 인공지능의 '눈'을 훈련시키자

이 논문은 인공지능을 더 똑똑하게 만드는 새로운 길을 제시합니다.

"인공지능에게 '무엇을 말하라고' 하는 것보다, '무엇을 보라고' 가르치는 것이 더 중요합니다."

기존에는 인공지능이 말을 잘하게 만드는 데 집중했다면, 이제는 인공지능의 '시선 (주의)'이 어디로 향하게 할지를 훈련시킴으로써, 더 정확하고 신뢰할 수 있는 멀티모달 (이미지 + 텍스트) 인공지능을 만들 수 있다는 것을 증명했습니다.

이 방법은 앞으로 인공지능이 복잡한 상황을 이해하고, 실수 없이 정확한 판단을 내리는 데 큰 역할을 할 것으로 기대됩니다.

논문 제목: Reinforced Attention Learning (RAL)

부제: 멀티모달 LLM 의 내재적 주의를 강화학습을 통해 최적화하는 새로운 패러다임

1. 문제 제기 (Problem)

배경: 최근 대규모 언어 모델 (LLM) 은 강화학습 (RL) 을 통한 사후 학습 (Post-training) 과 테스트 시간 확장 (Test-time scaling) 을 통해 추론 능력이 비약적으로 향상되었습니다.
한계: 이러한 패러다임을 멀티모달 LLM(MLLM) 으로 확장할 때, 기존의 방식인 "방대한 텍스트적 추론 (Verbose Rationales)"을 생성하도록 유도하는 것은 시각적 지각 (Perception) 과 grounding(정합성) 에는 큰 도움이 되지 않으며, 오히려 성능을 저하시킬 수 있음이 관찰되었습니다.
근본 원인: 기존 RL 기반 방법론들은 모델이 생성하는 **다음 토큰 (Output Token)**의 확률 분포를 최적화하는 데 집중합니다. 그러나 MLLM 에서 복잡한 시각 정보를 이해하고 정답을 도출하는 핵심 과정은 '무엇을 생성할지'가 아니라 **'어떤 시각 정보에 주의를 기울일지 (Where to attend)'**를 결정하는 내부 어텐션 메커니즘에 의해 좌우됩니다. 기존 방법은 결과 (토큰) 만을 최적화하므로, 내부 정보 할당 과정의 최적화를 놓치게 됩니다.

2. 제안 방법론: Reinforced Attention Learning (RAL)

이 논문은 생성된 토큰 시퀀스 대신 **모델의 내부 어텐션 분포 (Internal Attention Distributions)**를 직접 최적화하는 정책 경사 (Policy Gradient) 프레임워크인 RAL을 제안합니다.

핵심 아이디어:
- 정책의 재정의: 생성된 토큰 확률 대신, 모델이 입력 (이미지/비디오/텍스트) 에 대해 할당하는 어텐션 가중치 분포 자체를 정책 (Policy) 으로 간주합니다.
- 목표: "무엇을 생성할지 (What to generate)"가 아닌 "어디에 집중할지 (Where to focus)"를 최적화하여, 밀집된 컨텍스트에서 중요한 시각적 정보를 효과적으로 격리하고 할당하도록 유도합니다.
수학적 formulation:
- 어텐션 분포 정책 ( $p_t^\theta$ ): 생성된 토큰 $t$ 가 이전 모든 토큰 $i$ 에 대해 가지는 어텐션 가중치를 정규화하여 확률 분포로 정의합니다.
- 손실 함수 ( $L_{AttnRL}$ ): 기존 RL 의 이점 (Advantage, $A_t$ $A_{t}$ ) 을 활용하여 어텐션 분포의 발산을 조절합니다.
  - $A_t > 0$ (고성능): 현재 어텐션 정책이 성공적인 참조 정책 ( $p_{old}$ ) 에 가까워지도록 유도 (발산 최소화).
  - $A_t < 0$ (저성능): 비효율적인 어텐션 패턴에서 멀어지도록 유도 (발산 증가).
  - 발산 측정에는 Jensen-Shannon Divergence (JSD) 를 사용하여 학습 안정성을 확보합니다.
- 최종 목적 함수: 기존 토큰 수준의 RL 손실 ( $L_{RL}$ ) 과 새로운 어텐션 정규화 항 ( $L_{AttnRL}$ ) 을 가중치 $\lambda_{attn}$ 으로 결합합니다.
On-Policy Attention Distillation:
- 교사 모델 (Teacher) 의 어텐션 분포를 학생 모델 (Student) 이 모방하도록 하는 지식 증류 (Distillation) 기법을 확장했습니다.
- 단순한 토큰 확률 일치뿐만 아니라, 내부 어텐션 분포의 일치를 통해 교사의 미세한 지각 및 grounding 행동을 학생에게 전이합니다. 이는 노출 편향 (Exposure Bias) 을 완화하고 더 밀도 높은 학습 신호를 제공합니다.

3. 주요 기여 (Key Contributions)

RAL 알고리즘 제안: 토큰 예측에서 어텐션 분포 정렬로 최적화 목표를 전환하여, 텍스트 출력을 통한 간접적 감독이 아닌 직접적인 시각 grounding 강화를 가능하게 함.
On-Policy Attention Distillation: 어텐션 분포를 통한 지식 전이를 도입하여, 학생 모델이 교사의 정교한 지각 행동을 더 효과적으로 학습하도록 함.
실증적 검증: 다양한 이미지 및 비디오 벤치마크에서 기존 GRPO(Group Relative Policy Optimization) 및 다른 베이스라인을 일관되게 능가하는 성능을 입증.

4. 실험 결과 (Results)

실험 설정: Qwen-2.5-VL-7B 를 베이스 모델로 사용하며, Video-R1 데이터셋을 기반으로 SFT 및 RL 학습을 수행.
성능 비교:
- 이미지 VQA: 8 개 벤치마크 (V*Bench, MME, ChartQA 등) 에서 GRPO 보다 일관되게 높은 성능을 기록. 특히 $V^*$ Bench(+5.8), MME(+94.1) 에서 큰 개선을 보이며, 시각적 지각과 구성적 추론 능력이 강화됨을 입증.
- 비디오 VQA: LongVideoBench, NExTQA 등 7 개 중 6 개 벤치마크에서 GRPO 를 상회. 긴 컨텍스트와 시간적 추론 (Temporal Reasoning) 에서 RAL 의 우위가 두드러짐.
- RAL-zero (생각 과정 제거): 명시적인 "생각 (Thinking)" 텍스트를 제거하고 어텐션 정책만 학습한 경우에도 베이스 모델 및 GRPO 대비 우수한 성능을 보여, 어텐션 최적화 자체가 시각 이해에 핵심임을 증명.
- 증류 효과: 어텐션 증류를 추가한 On-Policy Distillation 은 단순 토큰 증류보다 더 높은 성능을 달성.
확장성: 고해상도 이미지나 긴 비디오 프레임 수 (32~128 프레임) 가 증가할수록 RAL 의 성능 이점이 GRPO 대비 더욱 커지는 것을 확인 (정보 밀도가 높을수록 어텐션 최적화의 효과가 큼).

5. 의의 및 결론 (Significance)

패러다임의 전환: MLLM 후학습 (Post-training) 에 있어 "출력 토큰" 중심의 최적화에서 "내부 계산 경로 (어텐션)" 중심의 최적화로 전환해야 함을 주장합니다.
안정성과 일반화: 기존 RL 방법론이 종종 보이는 베이스 모델 성능 저하 (Reward Hacking 등) 를 방지하고, 더 안정적이고 균일한 성능 향상을 제공합니다.
미래 방향: 어텐션 분포를 최적화 대상으로 삼는 것은 멀티모달 정렬을 위한 원칙적이고 일반적인 대안이 되며, MoE 라우팅이나 크로스-모달 퓨전 등 다른 내부 구조의 최적화 연구에도 영감을 줍니다.

요약하자면, 이 논문은 멀티모달 모델이 복잡한 시각 정보를 이해할 때 "무엇을 말해야 하는가"보다 "어디를 봐야 하는가"를 학습하는 것이 더 중요하며, 이를 위해 어텐션 분포를 직접 강화학습의 정책으로 삼는 **Reinforced Attention Learning (RAL)**을 제안하여 기존 방법론의 한계를 극복하고 성능을 획기적으로 개선했음을 보여줍니다.