💻 computer science

V-Rubrics: Visual Faithfulness via Rubric-Based Reinforcement Learning

이 논문은 시각적 접지(visual grounding), 추론, 지시 이행에 대해 구조화된 부분 점수 산정을 위해 응답을 원자적 명제(atomic propositions)로 분해함으로써 스칼라 결과 보상의 한계를 극복하고, 시각-언어 모델의 시각적 충실도를 향상시키는 강화 학습 프레임워크인 V-Rubrics를 소개한다.

원저자: Shulin Tian, Minglun Li, Yuhao Dong, Hao Ding, Jiarui Yao, Haiwen Diao, Jingkang Yang, Hongyuan Zhu, Ziwei Liu

게시일 2026-08-27

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Shulin Tian, Minglun Li, Yuhao Dong, Hao Ding, Jiarui Yao, Haiwen Diao, Jingkang Yang, Hongyuan Zhu, Ziwei Liu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인공지능이 급격히 발전하는 세상 속에서, 사진을 보고 그 안에 무엇이 보이는지 설명할 수 있는 특정한 유형의 컴퓨터 프로그램이 등장했습니다. 시각-언어 모델(vision-language models)로 알려진 이 시스템들은 이미지의 픽셀과 인간 언어의 단어를 연결하도록 훈련되었습니다. 이들은 공원에 있는 개를 식별하거나, 외국어로 된 메뉴판을 읽거나, 복잡한 차트를 설명할 수 있습니다. 그러나 이러한 시스템에는 고질적인 문제가 존재해 왔습니다. 바로 이들이 유창하지만 불성실하다는 점입니다. 모델은 매우 매끄럽고 자신감 넘치는 문장을 생성할 수 있지만, 실제로는 존재하지 않는 사물을 설명하거나, 그래프의 숫자를 잘못 읽거나, 사진이 전혀 뒷받침하지 않는 결론을 도출할 수도 있습니다. 인간에게 이것은 환각(hallucination)이지만, 기계에게는 자신의 말을 시각적 현실에 고정하는 데 실패한 결과입니다. 연구자들의 핵심 과제는 어떻게 하면 이 기계가 단순히 정답을 맞히는 데 능숙해지는 것을 넘어, 자신이 보는 것에 대해 정직해지도록 가르칠 것인가였습니다.

이 연구를 진행한 연구진은 현재 이 기계들에게 보상을 주는 방식이 너무 투박하다는 점을 깨달음으로써 이 문제에 접근했습니다. 표준적인 훈련 방식에서는 컴퓨터에게 이미지와 질문을 보여주고 답을 생성하게 합니다. 만약 답이 맞으면 시스템은 점수를 얻고, 틀리면 아무것도 얻지 못합니다. 이 방법은 단순한 작업에는 잘 작동하지만, 추론 과정이 복방잡할 때는 실패합니다. 예를 들어, 사진 속의 사물들은 올바르게 식별했지만 그것들을 연결하는 논리적 과정에서 오류를 범한 학생이나, 차트를 잘못 읽었음에도 순전히 운 좋게 최종 정답을 맞힌 학생을 상상해 보십시오. 단순한 "맞음 또는 틀림" 식의 점수는 이러한 차이를 구분할 수 없습니다. 학생이 사물은 제대로 보았으나 생각하는 과정이 틀렸는지, 혹은 주요 핵심은 맞혔지만 특정 지시 사항을 놓쳤는지를 알 수 없는 것입니다. 이러한 미묘한 차이가 없다면, 기계는 도달하기 위해 거친 단계의 진실성보다는 최종적인 결과만을 우선시하도록 학습하게 됩니다.

이를 해결하기 위해 연구진은 답변을 하나의 덩어리 텍스트가 아니라, 검증 가능한 작은 사실들의 집합으로 취급하는 새로운 훈련 방법을 도입했습니다. 그들은 이상적인 응답을 구체적인 요구 사항, 즉 '루브릭(rubrics)' 목록으로 세분화했습니다. 태양계 도표에 관한 질문이라면, 루브릭은 단순히 최종 정답만을 요구하지 않습니다. 대신 다음과 같은 구체적인 단계들을 나열할 것입니다: "모델이 태양을 정확히 식별했는가?", "달이 지구와 일직선상에 있다는 것을 인지했는가?", "이 정렬이 어떻게 조수 간만의 차를 일으키는지 설명했는가?" 각 단계에는 그 중요도에 따라 특정 가중치가 부여됩니다. 그런 다음 시스템은 컴퓨터의 응답을 이러한 아주 작은 기준들과 개별적으로 대조하여 확인합니다. 만약 모델이 사물 식별은 맞혔지만 추론 단계에서 실패했다면, 첫 번째 부분에 대해서는 부분 점수를 받고 두 번째 부분에 대해서는 감점을 받습니다. 이를 통해 훈련 과정은 기계가 정확히 어디에서 틀렸는지 파악할 수 있으며, 최종 결론이 잘못되었더라도 옳은 부분에 대해서는 보상을 줄 수 있습니다.

연구진은 이 시스템에 이러한 새로운 사고 방식을 가르치기 위해 방대한 데이터셋을 구축했습니다. 그들은 도표 추론, 차트 이해, 문서 VQA, 수학적 시각 추론, 개수 세기, 교육용 질의응답, 그리고 일반 시각 추서 등 17개의 전형적인 출처로부터 5만 개 이상의 사례를 수집했습니다. 각 사례에 대해, 그들은 강력한 언어 모델을 사용하여 이러한 상세한 루브릭을 생성함으로써, 단순한 질문-답변 쌍을 구조화된 학습 계획으로 변환했습니다. 그런 다음 그들은 컴퓨터가 학생 역할을 하며 실력을 향상시키는 방식인 강화 학습(reinforcement learning) 기술을 사용하여 시각 모델을 훈련했습니다. 학생은 최종 성적을 기다리는 대신, 자신이 쓰는 모든 문장에 대해 즉각적인 피드백을 받습니다. 시각적 요소를 정확하게 묘-사하면 점수를 얻고, 세부 사항을 환각하거나 논리적 단계를 건너뛰면 점수를 잃습니다. 결정적으로, 시스템은 이러한 점수를 텍스트의 특정 부분과 연관 짓는 법을 배우는데, 비록 이 위치 지정은 근사적이며 피드백을 응답과 일치시키기 위해 퍼지 매칭(fuzzy matching)에 의존하긴 하지만, 이를 통해 어떤 단어를 유지하고 어떤 단어를 수정해야 하는지 알게 됩니다.

이러한 접근 방식의 결과는 특히 세심한 관찰과 논리적 연역이 필요한 작업에서 매우 유의미했습니다. 다양한 벤치마크에서 테스트했을 때, 상세한 루브릭으로 훈련된 모델은 표준 버전 및 최종 답변만으로 훈련된 버전을 모두 능가했습니다. 개선 효과는 시각 수학 및 차트 분석과 같이 단 하나의 근거 없는 주장이 전체 솔루션을 망칠 수 있는 영역에서 가장 눈에 띄었습니다. 이러한 테스트에서 루브릭으로 훈련된 모델은 추론의 사슬을 보존하는 데 더 뛰어났으며, 모든 결론이 이미지에 보이는 증거에 의해 뒷받침되도록 보장했습니다. 모델은 잘못된 이유로 정답을 맞히는 함정을 피하는 법을 배웠습니다. 이 연구는 '정확함'이라는 개념을 작고 검증 가능한 조각들로 나눔으로써, 우리가 인공지능을 단순한 유창함을 넘어 시각적 세계에 대한 진정한 이해로 안내하고, 보다 신뢰할 수 있고 진실된 이해로 나아갈 수 있음을 시사합니다.

기술 요약: V-Rubrics: 루브릭 기반 강화 학습을 통한 시각적 충실도 향상

문제 정의

시각-언어 모델(VLM)은 유창한 응답을 생성하지만, 시각적 근거에 충분히 기반하지 못하는 경우가 빈번합니다. 단 하나의 근거 없는 객체, 잘못된 차트 값, 또는 유효하지 않은 중간 추론이 전체 응답의 타당성을 무너뜨릴 수 있습니다. 저자들은 이를 단순한 평가 실패가 아니라, 멀티모달 사후 학습(post-training)에서의 신용 할당(credit-assignment) 문제로 규정합니다.

표준적인 강화 학습(RL) 정렬 파이프라인은 일반적으로 응답을 스칼라 형태의 결과 보상(예: 이진 정답 여부 또는 총체적인 판사 점수)으로 축소합니다. 이는 직접 검증 가능한 답이 있는 작업에는 효과적이지만, 응답 내에 올바른 관찰, 잘못된 추론, 형식 준수가 혼재되어 있는 시각적 추론 시나리오에서는 한계가 있습니다. 단일한 결과 신호만으로는 어떤 시각적 사실이 근거를 갖추었는지, 어떤 추론 단계가 유효한지, 혹은 어떤 지시 사항 제약이 누락되었는지를 구분할 수 없습니다. 결과적으로 모델은 전체적인 정답성을 희생하지 않으면서 특정 국소적 오류를 수정하는 법을 배우기 어려워집니다.

방법론

본 논문은 참조 응답을 원자적 명제(atomic propositions)로 분해하여 세밀하고 구조화된 감독을 제공하는 프레임워크인 **V-Rubrics 기반 강화 학습(Visual Rubrics-Based Reinforcement Learning)**을 제안합니다.

1. V-Rubrics 50K 데이터셋 구축

이 프레임워크를 지원하기 위해, 저자들은 다이어그램 추론, 차트 이해, 문서 VQA, 수학적 시각 추론을 포함한 17개의 시각적 근거 소스에서 추출한 50,248개의 예시로 구성된 V-Rubrics 50K를 구축했습니다.

데이터 필터링: 소스들은 유효성, 비자명성(non-triviality), 언어 품질에 대한 규칙 기반 필터링을 거쳤습니다.
난이도 계층화: 미세 조정된 정책( $\pi_{SFT}$ )이 각 예시에 대해 8개의 롤아웃(rollout)을 생성했습니다. 경험적 성공률( $k/8$ )을 사용하여 난이도 라벨(Hard, Medium, Simple)을 부여하였으며, 그 결과 어려운 예시 36.1%, 중간 예시 50.4%, 쉬운 예시 13.6%의 계층적 혼합 구성을 얻었습니다.
루브릭 주석 달기: 각 예시는 Gemini-3-Pro를 통해 참조 응답을 세 가지 차원의 원자적 기준에 따라 분해하도록 구조화된 프롬프트를 사용하여 주석이 달렸습니다.
- 시각적 충실도 (Visual Faithfulness, VF): 진술된 내용이 이미지 증거(객체, 속성, 관계, 개수, 텍스트)에 의해 뒷받침되는지 확인합니다.
- 추론 일관성 (Reasoning Consistency, RC): 결론이 관찰된 시각적 증거로부터 논리적으로 도출되는지 확인합니다.
- 지시 사항 준수 (Instruction Following, IF): 응답이 프롬프트 제약 조건을 만족하는지 확인합니다.
가중치 부여: 기준들은 중요도 가중치(Essential, Important, Optional, Pitfall)와 수치적 가중치를 할당받아 보상 기여도를 결정합니다.

2. 훈련 프레임워크

훈련 파이프라인은 OpenMMReasoner의 콜드 스타트 레시피를 변형한 Qwen3-VL-8B-Instruct의 지도 미세 조정(SFT) 체크포인트를 활용한 **그룹 상대 정책 최적화(Group Relative Policy Optimization, GRPO)**를 사용합니다.

보상 설계:
- 루브릭 보상 ( $R_{rub}$ ): LLM 검증기가 각 원자적 기준을 충족(1) 또는 미충족(0)으로 독립적으로 점수 매깁니다. 결정적으로, 검증기는 생성된 응답과 기준 텍스트는 받지만, 원본 이미지는 받지 않습니다. 긍정적인 기준은 중요도 가중치가 적용된 부분 점수를 제공합니다. "Pitfall(함정)" 위반은 의미론적 거부권(semantic veto) 역할을 합니다.
- 하이브리드 보상: 최종 보상은 가중치 인자 $\alpha$ 를 사용하여 루브릭 신호와 표준 정답 수준 보상( $R_{ans}$ )을 결합합니다: $R = \alpha R_{ans} + (1-\alpha) R_{rub}$ .
접두사 국소화된 신용 (Prefix-Localized Credit):
- 전체 시퀀스에 단일 어드밴티지(advantage)를 할당하는 표준 GRPO와 달리, V-Rubrics는 어드밴티지를 국소화합니다.
- 검증기가 특정 루브릭 항목에 대한 근거 구간(supporting evidence span)을 식별하면, 해당 항목에 대한 어드밴티지는 해당 구간의 끝( $t_{j,end}$ )까지의 응답 토큰에만 방송됩니다.
- 토큰 $t$ 에서의 총 어드밴티지 $A_t$ 는 글로벌 정답 어드밴티지와 접두사 마스킹된 루브릭 어드밴티지의 합입니다:
  $A_t = \alpha z(R_{ans}) + (1-\alpha) \sum_{j} \rho_j z(s_j) \mathbb{I}(t \le t_{j,end})$
- 이를 통해 모델은 최종 정답이 틀리더라도 근거가 있는 중간 단계에 대해 신용을 받을 수 있으며, 전체 시퀀스의 그래디언트를 붕괴시키지 않고 특정 환각(hallucination)에 대해서만 벌점을 받을 수 있습니다.

주요 기여

시각적 충실도를 신용 할당 문제로 공식화: 본 논문은 시각적 접지(grounding)를 사후 진단에서 구조화된 훈련 인터페이스로 재정의합니다. 아이템 레벨의 루브릭 구성 요소를 보존하고 증거 구간이 있을 때 그들의 어드밴티지를 응답 접두사에 국소화하는 방법을 도입합니다.
V-Rubrics 50K 리소스: 참조 응답을 명시적인 역량 차원(VF, RC, IF) 및 중요도 가중치를 가진 시각적으로 근거 있는 원자적 기준으로 변환하는 50,248개의 예시 데이터셋을 구축했습니다.
루브릭 기반 GRPO의 실증적 검증: 연구는 루브릭 기반 GRPO가 공유 SFT 베이스라인 및 스칼라 정답 전용 GRPO보다 우수한 성능을 보임을 입증합니다. 이러한 개선은 근거가 필요한 중간 추론 벤치마크에서 가장 두드러집게 나타납니다.

실험 결과

저자들은 일반적인 VLM 능력, 지식 중심 추론, 시각 수학, 차트 추론 및 논리를 다루는 10개의 벤치마크 제품군에서 접근 방식을 평가했습니다.

일반 및 지식 벤치마크: 루브릭 기반 GRPO는 전체 평균 68.04를 기록하여, SFT 베이스라인(64.93)과 스칼라 정답 전용 GRPO(66.25)를 능가했습니다. 이 격차는 특히 MMMU 및 MMMU-Pro에서 크게 나타났으며, 이는 루브릭이 다단계 학술 추론을 돕는다는 것을 시사합니다.
시각 수학 및 논리: 시각적 추론 작업(MathVision, DynaMath, WeMath, LogicVista)에서 루브릭 기반 모델은 SFT 베이스라인(62.45) 대비 4.00 포인트 향상된 전체 평균(58.45)을 보였으며, 스칼라 GRPO 변형(61.94)보다 높은 성능을 보였습니다.
절제 연구(Ablation Studies): 보상 설계를 비교한 결과, 구성 요소별 접두사 국소화 신용(68.04)이 스칼라 시퀀스 레벨 루브릭 집계(67.74)보다 뛰어난 성능을 보였습니다. 이는 신용을 특정 추론 단계에 국소화하는 것이 시퀀스 레벨에서 루브릭 점수를 집계하는 것보다 더 효과적임을 확인시켜 줍니다.
정성적 분석: 사례 연구에 따르면, 루브릭 훈련 모델은 정답 전용 훈련 모델에 비해 중간 추론 단계(예: 답을 내기 전 그래프 구간을 명시적으로 추적하는 과정)를 더 잘 보존하고 근거 없는 추론을 피하는 경향을 보였습니다.

의의 및 주장

본 논문은 루브릭이 시각적 사후 학습을 위한 유용한 보상 추상화 역할을 한다고 주장합니다. 응답을 원자적이고 시각적으로 근거 있는 명제로 분해함으로써, 이 프레임워크는 스칼라 보상에 내재된 "신용 할당 실패" 문제를 해결합니다.

저자들은 향후 VLM 사후 학습이 시각적 접지를 단순한 평가 지표가 아니라, 추론의 성공과 실패를 명시적으로 드러내는 구조화된 훈련 인터페이스로 취급해야 한다고 주장합니다. 결과는 아이템 레벨의 판단을 보존하고 신용을 특정 응답 접두사에 국소화하는 것이 모델이 부분적인 성공과 구체적인 실패로부터 학습하게 하여, 특히 복잡한 다단계 작업에서 더 강력한 시각적 추론 능력을 이끌어낼 수 있음을 시사합니다.

본 논문은 데이터셋이 자동 생성된 루브릭과 판사 모델의 검증에 의존하므로 편향이나 참조 답변 편향이 발생할 수 있다는 점을 인정하며 한계점에 대해 겸허한 태도를 유지합니다. 또한, 접두사 신용 국소화는 정확한 토큰 레벨 감독이 아닌 검증 문장의 퍼지 매칭(fuzzy matching)에 기반한 근사치입니다.