💻 computer science

Remember-R1: Mitigating Long-Context Visual Forgetting through Reinforcement Learning

Remember-R1은 복잡한 추론 과정 전반에 걸쳐 지속적인 시각적 증거 사용을 장려하기 위해 프로세스 수준의 감독을 적용함으로써 멀티모달 거대 언어 모델의 장기 문맥 시각적 망각을 완화하는 강화 학습 프레임워크입니다.

원저자: Jianmin Chen, Jiaqi Tang, Wei Wei, Xiaogang Xu, Jiafei Wu, Zhe Liu, Qianzhou Wang, Yingying Yan, Botong Geng, Yuyang Xia, Lei Zhang, Qifeng Chen

게시일 2026-08-04

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jianmin Chen, Jiaqi Tang, Wei Wei, Xiaogang Xu, Jiafei Wu, Zhe Liu, Qianzhou Wang, Yingying Yan, Botong Geng, Yuyang Xia, Lei Zhang, Qifeng Chen

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 똑똑한 로봇에게 단 하나의 복잡한 사진을 보고 미스터리를 해결하는 법을 가르치고 있다고 상상해 보세요. 당신은 로봇에게 "이 이미지를 보고 무슨 일이 일어나고 있는지 말해봐"라고 말합니다. 처음에는 로봇이 고도의 경계 태세를 갖춘 탐정처럼 사진의 모든 세부 사항을 아주 집중해서 응시합니다. 하지만 로봇이 말을 시작하며 자신의 길고 단계적인 생각을 써 내려가기 시작하면, 이상한 일이 발생합니다. 로봇이 말을 길게 할수록, 마치 사진을 완전히 잊어버린 것처럼 보입니다. 로봇은 실제 그곳에 무엇이 있는지보다는, 이야기가 보통 어떻게 흘러가는지에 기반하여 자신이 무엇을 보았을 것이라고 추측하며 자신의 이전 단어들에 의존하기 시작합니다. 이것은 보고 읽을 수 있는 '멀티모달 거대 언어 모델(MLLMs)'이라는 새로운 세대의 AI 시스템들이 겪는 문제입니다. 이들은 복잡한 추론 능력은 향상되고 있지만, 한 가지 결함이 있습니다. 바로 '사고의 사슬(chain of thought)'이 길어질수록 '시각적 망각(visual forgetting)' 현상을 겪는 것입니다. 이들은 시각적 증거에서 벗어나 버리며, 비록 사진 속에 진실이 담겨 있을지라도 틀린 답을 내놓게 됩니다. 과학자들이 이 문제에 관심을 갖는 이유는, 만약 이 AI 모델들이 생각하는 동안에도 목표물에서 눈을 떼지 못한다면, 도표가 포함된 수학 문제를 풀거나 의료 영상을 이해하는 것과 같은 심각한 작업에서 신뢰받을 수 없기 때문입니다.

여기, 로봇이 아무리 긴 이야기를 하더라도 사진에 눈을 고정할 수 있도록 설계된 영리한 새로운 훈련법인 Remember-R1이 등장했습니다. AI의 추론 과정을 긴 자동차 여행이라고 생각해 보세요. 과거에 연구자들은 여행 중에 계속 차를 멈추고 운전자에게 지도를 다시 보여주는 방식(이미지를 재도입하는 방식)으로 망각 문제를 해결하려 했지만, 이는 느리고 투박했습니다. 또 다른 이들은 운전자에게 그들이 본 것이라고 '생각하는' 목록을 만들게 한 뒤 나중에 그것을 확인하게 하려 했지만, 이는 실제 도로를 보는 대신 대리 메모를 확인하는 것과 같았습니다. Remember-R1은 다른 접근 방식을 취합니다. 여행의 경로를 바꾸거나 멈춤을 추가하는 대신, 마치 뒷좌석에 앉아 운전하는 동안 끊임없이 보상을 속삭여 주는 엄격하지만 도움이 되는 코치처럼 행동합니다.

이 논문은 강화 학습을 사용하여 이러한 모델을 훈련하는 Remember-R1이라는 시스템을 제안합니다. 핵심 아이디어는 단순히 최종 답변에 점수를 매기는 것이 아니라, 모델의 '사고 과정'을 직접 감독하는 것입니다. 연구진은 모델이 이미지에 계속 뿌리를 내릴 수 있도록 세 가지 구체적인 '보상'을 설계했습니다.

"키워드 사냥꾼(Keyword Hunter)" 보상: 모델이 추론 과정 전반에 걸쳐 이미지에서 발견한 특정 주석이 달린 세부 사항(예: "파란 구체" 또는 "작은 정육면체")을 명시적으로 언급하면 점수를 받습니다. 이는 운전자가 지나가는 모든 특정 랜드마크를 찾아내고 이름을 부를 때 보너스를 받는 게임과 같으며, 이를 통해 운전자가 단순히 무언가를 지어내는 것이 아님을 보장합니다.
"기억 유지자(Memory Keeper)" 보상: 이 보상은 대화가 길어짐에 따라 모델이 이미지에 주의를 덜 기울이기 시작하면 벌점을 줍니다. 목표는 첫 번째 단계부터 마지막 단계까지 '시각적 주의력'을 일정하게 유지하여, 모델이 자신의 텍스트에만 의존하는 백일몽 속으로 빠져드는 것을 방지하는 것입니다.
"스포트라이트(Spotlight)" 보상: 이는 모델이 이미지를 무작위로 보고 있는 것이 아니라, 실제로 질문에 답하는 부분에 주의를 집중해야 함을 보장합니다. 만약 질문이 빨간 자동차에 관한 것이라면, 모델은 배경의 나무가 아니라 빨간 자동차에 '스포트라이트'를 계속 비추고 있을 때 보상을 받습니다.

저자들은 두 가지 크기의 AI 모델(30억 및 70억 파라미터)을 대상으로 수학, 논리, 일반 시각 이해를 포함한 7개의 벤치마크에서 Remember-R1을 테스트했습니다. 결과는 이 방법이 효과적임을 시사합니다. Remember-R1으로 훈련된 모델은 훈련되지 않은 모델이나 기존의 다른 방법들보다 일관되게 더 나은 성능을 보였습니다. 예를 들어, MathVista 벤치마크에서 3B 모델은 점수가 51.90에서 65.50으로 향상되었고, 7B 모델은 62.30에서 69.80으로 뛰어올랐습니다.

결정적으로, 이 논문은 이러한 향상이 단순히 마지막에 정답을 맞히는 것에 관한 것이 아니라, 모델이 어떻게 그곳에 도달하는지에 관한 것임을 보여줍니다. 연구진은 모델의 '주의력(attention)'을 분석함으로써, Remember-R1이 모델이 이미지를 잊어버리는 속도를 늦춘다는 것을 발견했습니다. 일반적인 모델은 추론 중간에 이미지에 대한 흥미를 잃는 경절이 있는 반면, Remember-R1 모델은 훨씬 더 오랫동안 시각적 증거에 시선을 고정합니다. 논문은 단순히 과정 중에 모델에게 이미지를 다시 보여주는 것이 최선의 해결책이라는 생각을 명시적으로 부정하며, 그것은 비용이 너무 많이 들고 추론의 흐름을 깨뜨린다고 언급했습니다. 대신, 그들은 이러한 특정 보상을 통해 모델 스스로 시각적 집중력을 유지하도록 훈련하는 것이 더 효과적인 길이라고 주장합니다.

요약하자면, Remember-R1은 AI 모델이 키워드를 포착하고, 기억을 신선하게 유지하며, 적절한 지점에 집중하는 등 훌륭한 '시각적 탐정'이 되도록 보상함으로써, 모델이 보고 있는 것을 잊어버리는 현상을 막을 수 있다는 것을 시사합니다. 이는 단순히 수학이나 논리 능력을 높이는 것뿐만 아니라, 그들의 길고 복잡한 이야기가 항상 그들이 보고 있는 그림의 진실에 뿌리를 두도록 하여, 그들을 더 신뢰할 수 있는 관찰자로 만들어 줍니다.

기술 요약: Remember-R1

문제 정의

멀티모달 거대 언어 모델(MLLM)은 복잡한 작업을 수행하기 위해 점점 더 긴 사고 사슬(Chain-of-Thought, CoT) 추론을 활용하고 있습니다. 그러나 현재 모델에서 확인된 결정적인 약점은 **장기 문맥 시각적 망각(long-context visual forgetting)**입니다. 추론 시퀀스가 길어짐에 따라, 모델은 시각적 증거에 대한 의존도를 낮추고 이전 단계에서 생성된 누적된 텍스트 문맥에 더 많이 의존하는 경향이 있습니다. 이는 특히 다단계 수학, 논리 및 공간 추론 작업에서 추론 과정이 시각적 사실로부터 벗어나는 드리프트(drift) 현상을 초래합니다.

기존의 완화 전략은 두 가지 범주로 나뉘며, 둘 다 한계가 있습니다:

시각적 재도입(Visual Re-introduction): 추론 중에 이미지나 특정 영역을 문맥에 다시 삽입하는 방식입니다. 효과적이긴 하지만, 추론 비용(연산 및 메모리)을 증가시키고 추론 과정을 파편화할 수 있습니다.
시각적 주장 프록시(Visual Claim Proxies): 훈련 중에 중간 단계의 시각적 주장을 삽입하는 방식입니다. 이는 "프록시 태스크 간극(proxy-task gap)"을 유발하는데, 이는 망각이 실제로 발생하는 원래의 추론 궤적 자체가 아니라 보조적인 상호작용에 감독(supervision)이 적용되기 때문입니다.

현재로서는 추론 절차를 변경하지 않으면서 시각적 증거가 어떻게 사용되고 유지되는지를 제약할 수 있는, 원래의 추론 궤적에 대한 직접적인 감독을 제공하는 방법론이 부족한 실정입니다.

방법론: Remember-R1

저자들은 대상 추론 롤아웃(rollout)에 프로세스 수준의 감독을 적용하여 시각적 망각을 완화하도록 설계된 강화 학습(RL) 프레임워크인 Remember-R1을 제안합니다. 이 프레임워크는 추론 절차를 수정하지 않고 작동합니다.

1. 데이터 어노테이션 (Data Annotation)

프로세스 수준의 감독을 가능하게 하기 위해, 저자들은 ViRL39K 데이터셋을 구조화된 시각적 증거 어노테이션으로 확장했습니다:

시각적 키워드 추출: Qwen-VL-Max를 사용하여 이미지로부터 짧고 근거가 명확한 어휘 단위(객체, 속성, 수량, 공간 구절) 세트를 추출합니다.
핵심 영역 박스 어노테이션: 질문에 답하는 데 관련이 있는 특정 이미지 영역(경계 상자, bounding boxes)을 식 easily 식별합니다.
검증: 인간 검증을 통해 키워드와 박스의 품질을 보장합니다. 최종 데이터셋은 38,657개의 어노테이션된 샘플을 포함합니다.

2. 보상 설계 (Reward Design)

Remember-R1은 "시각적 증거에 대한 지속적인 의존"을 세 가지 상호 보완적인 측면으로 분해하며, 각 측면은 특정 프로세스 수준 보상에 대응합니다:

시각적 어휘 보상 ( $r_{voc}$ ): 추론 궤적 전반에 걸쳐 어노테이션된 시각적 키워드를 명시적으로 언급하도록 장려합니다.
- 메커니즘: 위치 가중치가 적용된 매칭된 키워드의 클리핑된 평균(clipped average)을 계산합니다. 단순히 키워드의 존재 여부뿐만 아니라, 생성의 후반 단계에서도 키워드가 나타나는지를 보상함으로써 모델이 추론 초기에만 시각적 사실을 언급하는 것을 방지합니다.
시각적 메모리 보상 ( $r_{mem}$ ): 후기 추론 단계까지 시각적 주의력(visual attention)이 지속되도록 장려합니다.
- 메커니즘: 생성 단계 $t$ 에서의 시각적 토큰에 할당된 총 어텐션 질량( $\Omega(t)$ )을 측정합니다. 이 보상은 생성의 초기 윈도우와 마지막 윈도우에서의 평균 어텐션 차이를 기반으로 합니다. 응답이 길어짐에 따라 시각적 어텐션이 크게 감소하는 것에 대해 페널티를 부여합니다.
시각적 핵심 영역 보상 ( $r_{region}$ ): 질문과 관련된 이미지 영역에 지속적으로 주의를 기울이도록 장려합니다.
- 메커니즘: 전체 시각적 어텐션 대비 어노테이션된 핵심 영역 박스에 할당된 어텐션의 비율을 계산합니다. 모델이 추론 과정 내내 관련 영역에 계속 집중할 수 있도록, 후반 단계에 더 높은 가중치를 부여하는 시간적 가중 평균을 사용합니다.

3. 강화 학습 최적화 (Reinforcement Learning Optimization)

전체 보상은 표준 정답 정확도 보상( $r_{acc}$ )과 세 가지 시각적 프로세스 보상을 결합합니다:
$R(Y, I, Q) = r_{acc}(Y) + r_{voc}(Y) + r_{mem}(Y) + r_{region}(Y)$
정책은 그룹 상대 정책 최적화(GRPO)를 사용하여 응답 그룹을 샘플링하고 정규화된 이득(advantages)을 계산하며 최적화됩니다.

주요 기여 (Key Contributions)

프로세스 수준 감독 프레임워크: 본 논문은 원래의 추론 롤아웃을 직접 감독함으로써 시각적 망각을 연구하는 새로운 접근 방식을 제안하며, 이를 통해 재도입에 따른 추론 비용이나 클레임 기반 방식의 프록시 간극을 피합니다.
세 가지 측면의 보상 설계: 저자들은 시각적 키워드의 커버리지, 시간에 따른 시각적 주의력의 지속성, 그리고 질문 관련 영역에 대한 주의력 국소화(localization)를 목표로 하는 세 가지 구체적인 보상을 설계했습니다.
실증적 검증: 이 방법은 두 가지 모델 규모(3B 및 7B)와 7개의 다양한 벤치마크에서 검증되었으며, 추론 능력, 일반적인 멀티모달 능력 및 시각적 인지 능력에서 일관된 개선을 보여주었습니다.

실험 결과 (Experimental Results)

저자들은 Qwen2.5-VL-3B 및 Qwen2.5-VL-7B 베이스 모델을 대상으로 7개의 벤치마크에서 Remember-R1을 평가했습니다:

수학 및 논리 추론: MathVision, MathVista, LogicVista.
일반 멀티모달 능력: MMVet, MMMB, MMStar.
시각적 인지: RealWorldQA.

주요 발견:

성능 향상: Remember-R1은 베이스 모델과 최근의 추론 지향형 MLLM(예: Ocean-R1, VLAA-Thinking) 및 기존의 시각적 망각 완화 방법(예: DeepSketcher, TVC)보다 일관되게 우수한 성능을 보였습니다. 특히 MathVista (+13.60 for 3B, +7.50 for 7B)와 MMVet에서 눈에 띄는 개선이 관찰되었습니다.
시각적 그라운딩 분석: 어텐션 비율 분석에 따르면, 모든 모델이 시간이 지남에 따라 시각적 어텐션이 감소하는 양상을 보이지만, Remember-R1은 생성의 중간 및 후반 단계에서 현저히 느린 감소율을 보였습니다.
절제 연구 (Ablation Studies): 세 가지 프로세스 수준 보상 중 하나라도 제거하면 모든 벤치마크에서 성능 저하가 발생했습니다.
- $r_{voc}$ 를 제거하면 시각적 키워드 언급이 줄어들고 추론 능력이 약화되었습니다.
- $r_{mem}$ 을 제거하면 어텐션 감소가 더 빠르게 나타났습니다.
- $r_{region}$ 을 제거하면 관련 영역에 대한 주의력이 감소하여 모든 유형의 작업에서 정확도가 떨어졌습니다.
정확도 전용 RL과의 비교: 정답 정확도( $r_{acc}$ )로만 훈련된 변형 모델은 개선을 보였으나 전체 Remember-R1보다는 열등했습니다. 이는 최종 답변에 대한 감독만으로는 긴 문맥에서의 시각적 그라운딩을 유지하기에 불충분함을 시사합니다.

의의 및 주장 (Significance and Claims)

본 논문은 Remember-R1이 망각이 발생하는 궤적에서 시각적 증거의 사용을 직접 감독함으로써 장기 문맥 시각적 망각을 효과적으로 완화한다고 주장합니다. 이 연구의 의의는 다음과 같습니다:

프로세스 수준의 강화 학습이 추론 절차를 변경하거나 추론 비용을 높이지 않고도 추론 성능을 향상시킬 수 있음을 입증했습니다.
시각적 증거에 대한 의존성을 유지하는 것은 단순히 키워드를 언급하는 것뿐만 아니라, 생성 과정 전반에 걸쳐 주의력의 지속성을 유지하고 관련 영역에 집중하는 것임을 보여주었습니다.
이러한 개선 사항이 서로 다른 모델 규모와 작업 유형에 걸쳐 일반화된다는 점은, 추론 궤적에 대한 직접적인 감독이 긴 호흡의 멀티모달 추론을 위한 유망한 방향임을 시사합니다.

저자들은 이 접근 방식이 생성 과정이 진행됨에 따라 모델이 시각적 증거에 대한 의존성을 더 잘 유지하도록 도와주며, 기존 방법들의 계산적 오버헤드 없이 현재 MLLM의 근본적인 한계를 해결한다고 결론지었습니다.