🤖 AI

Improving Generalization Robustness of Multimodal RLVR

본 논문은 멀티모달 모델에서 표준 RLVR의 취약성을 완화하기 위해 동적 삼진 보상(dynamic trinary reward)과 임베딩 공간 일관성 정규화 도구(embedding-space consistency regularizer)를 결합한 강건한 사후 학습 방법인 Prompt-Invariant RLVR(PIRL)을 제안하며, 이를 통해 의미론적으로는 동일하지만 섭동(perturbation)이 가해진 프롬프트에 대한 일반화 성능을 크게 향상시킨다.

원저자: Pengfei Zhou, Zhiwei Tang, Xiaopeng Peng, Chenrui Zhou, Lama Moukheiber, Yixing Ma, Bin Xu, Jiajun Song, Zhenglin Wan, Wangbo Zhao, Jiasheng Tang, Bohan Zhuang, Fan Wang, Yang You

게시일 2026-08-11

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Pengfei Zhou, Zhiwei Tang, Xiaopeng Peng, Chenrui Zhou, Lama Moukheiber, Yixing Ma, Bin Xu, Jiajun Song, Zhenglin Wan, Wangbo Zhao, Jiasheng Tang, Bohan Zhuang, Fan Wang, Yang You

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 아주 똑똑하지만 지나치게 문자 그대로만 이해하는 로봇에게 퍼즐을 푸는 법을 가르치고 있다고 상상해 보세요. 당신은 고양이 사진을 보여주며 "이것은 어떤 동물인가요?"라고 묻습니다. 로봇은 완벽하게 "고양이"라고 말하는 법을 배웁니다. 하지만 당신이 질문을 약간 바꾸어 "이미지 속의 고양잇과 동물을 식별하세요"라고 말하면, 갑자기 로봇은 얼어붙거나 틀린 답을 내놓습니다. 이것이 바로 멀티모달 거대 언어 모델(MLLM)의 세계입니다. MLLM은 사진을 볼 수 있는 동시에 텍스트를 읽을 수 있는 매우 똑똑한 AI 시스템입니다. 이 로봇들을 더욱 똑똑하게 만들기 위해, 과학자들은 '검증 가능한 보상을 통한 강화 학습(RLVR)'이라는 기술을 사용합니다. 이것은 로봇이 특정 체크리스트(예: 특정 형식이나 정확한 숫자)와 일치하는 답을 내놓았을 때만 "점수"를 받는 비디오 게임과 같습니다. 목표는 로봇이 더 잘 추론하여 더 많은 점수를 얻도록 훈련하는 것입니다. 하지만 여기에는 함정이 있습니다. 만약 로봇이 퍼즐을 진정으로 이해하는 대신 체크리스트를 속이는 법을 배우게 된다면, 그 모델은 취약해집니다. 질문이 연습 문제와 똑같이 생겼을 때는 시험을 잘 치를지 모르지만, 질문의 표현 방식만 살짝 바꿔도 처참하게 실패할 수 있습니다. 이는 의료 진단이나 법률 자문처럼 로봇이 문구 변경에 따라 무너질 수 있는 실제 세계의 용도에서 매우 위험한 문제입니다.

이 "취약성"을 해결하려는 새로운 연구가 등장했습니다. 펑페이 저우(Pengfei Zhou)와 동료들이 이끄는 연구진은 표준적인 훈련 방식이 AI를 "형식 결벽증 환자"로 만들고 있다는 사실을 발견했습니다. 그들은 AI가 정답을 맞혔을 때 보상을 받는 과정에서, 두 가지 요소가 종종 뒤섞인다는 것을 발견했습니다. 바로 '정답을 맞히는 것'과 '형식 규칙을 따르는 것'(예: 답을 특정 상자 안에 넣는 것)입니다. 만약 AI가 상자 안에 답을 넣는 것을 깜빡한다면, 설령 답이 완벽하더라도 0점을 받게 됩니다. 이는 AI를 혼란스럽게 만들어, 수학적 논리나 내용 대신 상자 모양에 집중하게 만듭니다. 게다가, AI는 매우 작고 특정한 유형의 질문 세트에서만 연습합니다. 그래서 실제 세상에서 질문 방식이 바뀌면 당황하게 됩니다.

이를 해결하기 위해 연구팀은 '프롬프트 불변 RLVR(PIRl)'이라는 새로운 훈련 방법을 제안했습니다. 그들은 두 가지 주요 기술을 도입했습니다. 첫째, AI에게 '동적 삼항 보상(Dynamic Trinary Reward)'을 부여했습니다. 단순히 "맞음/틀림"의 점수 대신, 이제 AI는 세 단계의 점수를 받습니다: 올바른 형식의 정답에는 +1점, 형식이 틀린 정답에는 0점, 형식 오류에는 -1점을 줍니다. 이는 형식이 엉망이더라도 답변의 '내용'이 중요하다는 것을 AI에게 가르칩니다. 둘째, 훈련 과정에 '스턴트 더블(대역)'을 추가했습니다. 그들은 의미는 유지하면서도 미묘하게 질문을 계속 다시 쓰는 '적대적 에이전트(adversarial agent)'를 만들었습니다. 질문의 표현 방식이나 지시 스타일을 바꾸는 식입니다. 그러면 AI는 질문이 어떤 모습으로 꾸며지든 상관없이 동일한 정답을 내놓아야만 합니다. 이는 학생에게 단순히 특정 학습지의 수학 문제를 푸는 법을 가르치는 것이 아니라, 필기체로 쓰였든, 인쇄되었든, 혹은 말로 전달되든 상관없이 문제를 풀 수 있도록 훈련하는 것과 같습니다.

결과는 유망합니다. 연구진이 이 새로운 방식을 기존의 표준 방식(GRPO)과 비교 테스트했을 때, 프롬프트가 재구성되었을 때(스트레스 테스트) 기존 방식의 성능이 크게 떨어지는 것을 발견했습니다. 예를 들어, 일부 수학 벤치마크에서 표준 방식의 정확도는 프롬프트가 변경될 때 약 3%에서 4% 정도 하락했습니다. 반면, 새로운 PIRL 방식은 놀라울 정도로 안정적이었으며, 정확도 하락 폭이 1% 미만이었습니다. 신뢰성이 핵심인 의료 및 법률 분야와 같은 고위험 영역에서도 PIRL은 경쟁 모델보다 훨씬 더 높은 정확도를 유지했습니다. 이 연구는 "정답을 맞히는 것"과 "정답처럼 보이는 것"에 대한 보상을 분리하고, 더 다양한 질문 스타일에 대해 연습함으로써, 우리가 단순히 똑똑할 뿐만 아니라 인간의 복잡하고 예측 불가능한 대화 방식을 다룰 수 있을 만큼 견고하고 신뢰할 수 있는 AI를 구축할 수 있음을 시사합니다.

기술 요약: 멀티모달 RLVR의 일반화 강건성 개선

1. 문제 정의

본 논문은 검증 가능한 보상(Verifiable Rewards, RLVR)을 통해 미세 조정된 멀티모달 거대 언어 모델(MLLM)에서 발생하는 **프롬프트 강건성 격차(prompt-robustness gap)**를 다룹니다. RLVR은 결정론적 신호(예: 정규 표현식 매칭 또는 기호적 검증)를 최적화함으로써 표준 벤치마크에서 정확도를 크게 향상시키지만, 이러한 이점은 취약합니다. 저자들은 단순히 질문을 바꾸거나 프롬프트 템플릿을 변경하는 것만으로도 성능이 급격히 저하될 수 있음을 관찰하였으며, 이는 고위험군 배포 환경(예: 의료 또는 법률 VQA)에서 모델을 신뢰할 수 없게 만듭니다.

저자들은 표준 RLVR 목적 함수 내에서 두 가지 근본 원인을 식별했습니다:

보상 엉킴(Reward Entanglement): 표준 이진 검증기(예: $V = V_f \cdot V_c$ )는 형식 준수( $V_f$ )와 의미적 정확성( $V_c$ )을 혼동합니다. 보상이 0인 경우, 모델이 과업 이해에 실패한 것인지 아니면 단순히 출력 형식을 따지는 데 실패한 것인지 구분할 수 없습니다. 이는 특히 형식 준수율이 높을 때 정보가 담긴 보상 분산을 상실하게 만들며, 그래디언트 신호가 일반적인 추론보다는 템플릿 특정적 행동에 편향되도록 유도합니다.
프롬프트 의존성(Prompt Dependency): 표준 RLVR은 고정된 훈련 분포( $P_{train}$ )에 대해 최적화됩니다. 이론적 분석(Proposition B.5)에 따르면, 이 목적 함수는 식별 불가능(non-identifiable)합니다. 즉, 훈련 템플릿에서는 완벽하게 수행하지만, 의미적으로 동일한 보이지 않는 프롬프트에서는 실패하는 정책 또한 동일한 훈련 보상을 달성할 수 있습니다. 결과적으로 모델은 프롬프트 불변적 추론을 배우기보다 특정 프롬프트 템플릿을 악용(exploit)하는 법을 배웁니다.

2. 방법론: 프롬프트 불변 RLVR (PIRL)

이러 문제를 해결하기 위해 저자들은 두 가지 설계 조건인 **보상 분해(C1)**와 **불변성 제어(C2)**를 구현하는 **프롬프트 불변 RLVR (PIRL)**을 제안합니다.

2.1. 동적 삼진 보상 (Dynamic Trinary Reward, DTR)

보상 분해를 충족하기 위해, PIRL은 표준 이진 검증기를 동적 삼진 보상으로 대체합니다:
$R = R_t + \alpha_{rew} R_s$

$R_t$ (형식 인지 삼진 검증기): 올바른 형식의 정답에는 $+1$ , 올바른 형식의 오답에는 $0 $, 형식 실패에는$ -1$을 할당합니다. 이는 형식 준수와 의미적 정확성을 분리합니다.
$R_s$ (의미 점수): 형식 버킷 내에서 분산을 제공하는 유계된 의미 점수(NLI 스코어러로부터 도출됨)입니다. 형식이 올바르더라도 $R_s$ 를 통해 의미적 정확성의 정도를 차별화할 수 있습니다.
분리된 어드밴티지 정규화 (Decoupled Advantage Normalization, DAN): 그룹 정규화 과정에서 의미 점수가 삼진 신호를 압도하는 것을 방지하기 위해, 저자들은 각 롤아웃 그룹 내에서 $R_t$ 와 $R_s$ 를 각각 z-score 정규화한 후 결합하는 방식을 제안합니다.

2.2. 임베딩 공간 적대적 공격 및 일관성 정규화

불변성 제어를 충족하기 위해, PIRL은 적대적 훈련 루프를 도입합니다:

적대적 에이전트 (Adversarial Agent): 적대적 에이전트는 시각적 입력이나 정답을 변경하지 않고 지시문(instruction) 토큰 임베딩을 제한된 $\ell_2$ 볼( $\|\delta\|_2 \le \epsilon_{emb}$ ) 내에서 섭동(perturb)시킵니다. 이는 지시문의 최악의 경우 재구성을 시뮬레이션합니다. 적대적 에이전트는 정책의 기대 DTR 보상을 최소화하는 것을 목표로 합니다.
일관성 정규화 (Consistency Regularization): 이러한 섭동 하에서도 정책이 붕괴되지 않도록 일관성 손실(consistency loss)이 추가됩니다. 이 손실은 깨끗한 프롬프트와 적대적(섭동된) 프로ンプ트 하에서의 정책 토큰 분포 간의 Kullback-Leibler(KL) 발산을 최소화합니다. 이는 의미적 동등 클래스 전반에 걸쳐 답변 수준의 불변성을 강제하기 위한 실행 가능한 대리 목표(surrogate) 역할을 합니다.

2.3. 훈련 목적 함수

전체 목적 함수는 클리핑된 GRPO 손실(DAN으로 정규화된 DTR 기반 어드밴티지 사용)과 일관성 패널티를 결합합니다:
$\min_{\theta} \mathbb{E}_{\mathbf{x} \sim \mathcal{D}} \left[ \mathcal{L}^{DAN}_{G}(\pi_\theta, \bar{q}; R_t, R_s) + \lambda \mathcal{L}_{cons}(\theta; \mathbf{x}, \bar{\phi}) \right]$
여기서 $\bar{q}$ 는 투영 상승법(projected ascent)을 통해 생성된 고정된 적대적 샘플을 나타냅니다.

3. 주요 기여

프롬프트 강건성 격차 식별: 본 논문은 표준 RLVR이 프롬프트 형식에 과적합되어, 훈련 정확도가 높음에도 불구하고 패러프레이징된 프롬프트에서 성능이 저하되는 격차를 공식적으로 밝혀냈습니다.
이론적 정식화: 저자들은 프롬프트 강건성을 의미적 동등 클래스에 대한 최적화로 정식화했습니다. 그들은 표준 이진 보상이 보상 분산 편향을 유발하며, 훈련 목적 함수가 프롬프트 불변 정책에 대해 식별 불가능성을 겪는다는 것을 증명했습니다.
PIRL 프레임워크: DTR을 통한 보상 분해와 임베딩 공간 적대적 공격 및 일관성 정규화를 통한 불변성 제어를 구현하는 구체적인 방법론(PIRL)을 제안했습니다.
실증적 검증: Exam, Medical, Legal VQA 벤치마크에 걸친 광범위한 실험을 통해, PIRL이 스트레스 테스트 상황에서 표준 GRPO 및 멀티 템플릿 베이스라인에 비해 성능 저하를 유의미하게 줄임을 입증했습니다.

4. 실험 결과

저자들은 Qwen2.5-VL-7B 및 Qwen3-VL-8B를 대상으로 세 가지 도메인에서 PIRL을 평가했습니다:

템플릿 스트레스 테스트 (T-Stress): 미학습 템플릿의 개수( $N=1$ $N = 1$ 부터 $15$까지)를 변화시키며 모델을 테스트했습니다.
- 표준 GRPO는 상당한 성능 저하를 보였습니다 (예: Qwen2.5의 MathVista에서 $\Delta T \approx -4.4\%$ ).
- PIRL은 안정성을 유지했으며, 종종 양수이거나 미미한 저하를 보였습니다 (예: MathVista에서 $\Delta T \approx +0.3\%$ ).
- PIRL은 문제를 부분적으로만 완화하는 멀티 템플릿(GRPO-MT) 베이스라인보다 우수한 성능을 보였습니다.
동적 평가 (D-Test): 연산자 기반 변형(패러프레이징, 레이아웃 변경 등)을 사용했습니다.
- PIRL은 GRPO 및 GRPO-MT와 비교하여 모든 벤치마크에서 일관되게 가장 작은 평균 성능 저하를 달로했습니다.
- 고위험 도메인(Medical 및 Legal)에서, PIRL은 GRPO가 크게 저하되는 상황에서도 정확도를 보존했습니다 (예: PathVQA에서 GRPO는 $-6.7\%$ 하락한 반면, PIRL은 $-0.8\%$ 하락에 그침).
절제 연구 (Ablation Studies): 전체 PIRL 구성(MT + ADV + DTR)이 가장 좋은 결과를 냈습니다. 절제 연구는 모든 지표에서 DTR이나 적대적 공격의 개별적 필요성을 멀티 템플릿 베이스라인을 넘어 확정적으로 분리해내지는 못했지만, 이들의 결합이 추가 비용 없이 가장 견고한 성능을 제공함을 보여주었습니다.

5. 의의 및 주장

본 논문은 PIRL이 RLVR 튜닝된 모델의 강건성을 기본 모델과 대등하거나 그 이상의 수준으로 복구하여, 프롬프트 강건성 격차를 효과적으로 닫는다고 주장합니다.

신뢰성: 이 방법은 모델의 지시문 재구성 대응 능력이 성능의 신뢰성을 결정짓는 의료, 법률과 같은 고위험 도메인에서 특히 중요합니다.
메커니즘: 본 연구는 RLVR의 취약성이 강화 학습 자체의 내재적 한계가 아니라, 보상 엉킴과 제한된 훈련 범위의 결과임을 보여줍니다. 형식을 의미와 분리하고 불변성을 강제함으로써, 모델은 템플릿을 암기하는 대신 의미적 동등 클래스 전반에 걸쳐 일반화하는 법을 배웁니다.
겸손함: 저자들은 강건성이 반드시 정확성을 보장하는 것은 아니라는 점(안정적인 모델이 여전히 확신을 가지고 틀릴 수 있음)과, 그들의 불변성 목적 함수가 전체 의미적 동등 클래스에 대한 실행 가능한 완화(이산적 토큰 공간이 아닌 임베딩 공간에서 작동)라는 점을 인정합니다. 그들은 PIRL을 비판적 영역에서 전문가의 판단을 대체하는 것이 아니라 지원하는 방법론으로 포지셔닝합니다.