💻 computer science

SIVA-RL: Sensitivity-Invariance Visual Alignment for Multimodal Reinforcement Learning

SIVA-RL은 연산자 조건부 감독을 결과 조건부의 샘플 단위 정렬로 대체하여 시각적 접지(visual grounding)를 강화하고, 동결된 감사 정책(audit policy)을 사용하여 관찰된 보상 하락에 따라 개입을 동적으로 라우팅함으로써 다양한 벤치마크에서 추론 성능을 향상시키는 새로운 멀티모달 강화 학습 프레임워크이다.

원저자: Cheng Tang, Junzhi Ning, Min Cen, Wei Li, Xinyi Zeng, Pinxian Zeng, Rongbin Li, Qiming Zhu, Yuqiang Li, Junjun He, Yirong Chen, Ming Hu

게시일 2026-07-16

📖 6 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Cheng Tang, Junzhi Ning, Min Cen, Wei Li, Xinyi Zeng, Pinxian Zeng, Rongbin Li, Qiming Zhu, Yuqiang Li, Junjun He, Yirong Chen, Ming Hu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 미스터리를 해결하는 법을 가르치고 있다고 상상해 보세요. 당신은 범죄 현장 사진을 보여주며 "누가 범인일까?"라고 묻습니다. 만약 로봇이 정답을 맞히면, 당신은 금색 별을 줍니다. 이것이 현대의 "강화 학습(Reinforcement Learning)"이 작동하는 방식입니다. 즉, 시도하고, 실패하고, 정답에 대해 보상을 받으며 배우는 것이죠. 하지만 여기 함정이 있습니다. 로봇이 잘못된 이유로 금색 별을 받을 수도 있다는 점입니다. 로봇이 "집사"가 보통 이야기 속의 범인이라는 점을 암기했을 수도 있고, 사진 속의 단서는 완전히 무시한 채 텍스트만 보고 답을 냈을 수도 있습니다. 이는 마치 학생이 숫자를 실제로 이해하기보다 정답지의 패턴을 보고 찍어서 수학 시험에서 'A'를 받는 것과 같습니다.

이를 해결하기 위해 과학자들은 로봇의 뇌를 "쿡 찌르는(poke)" 방법을 시도했습니다. 똑같은 사진을 보여주되, 일부분을 가리거나 뒤섞어 놓는 식이죠. 만약 로봇이 여전히 정답을 맞힌다면, 그들은 로봇이 사진을 전혀 보고 있지 않다고 가정합니다. 반대로 틀린다면, 사진을 보고 있었다고 가정합니다. 이것을 "시각적 개입(visual intervention)"이라고 부릅니다. 이 아이디어의 핵심은 이미지를 건드림으로써 로봇이 시각적 증거에 집중하도록 강제하는 것입니다. 하지만 이 논문은 기존의 "찌르기" 방식이 다소 서투르다고 지적합니다. 마치 누군가를 수영 가르치겠다고 수영장에 던져놓고, 단 한 번의 물보라를 보고 그 사람이 가라앉는지 뜨는지를 판단하려는 것과 같다는 것이죠.

여기서 SIVA-RL이라는 새로운 방법이 등장합니다. 이는 서투른 찌르기보다는 더 똑똑한 코치와 같습니다. 연구진은 기존의 "찌르기" 방식이 큰 실수를 저지르고 있다는 것을 발견했습니다. 즉, 이미지의 일부를 가릴 때마다 로봇의 반응이 항상 같을 것이라고 가정한다는 점입니다. 하지만 실제로는 어떤 경우에는 이미지 조각을 가렸을 때 로봇이 처참하게 실패하기도 하고(그 조각이 매우 중요했기 때문에), 어떤 경우에는 답이 전혀 변하지 않기도 합니다(로봇이 그냥 찍었거나 가려진 부분이 중요하지 않았기 때문입니다). SIVA-RL은 로봇이 어떻게 반응해야 하는지 미리 단정 짓는 대신, 로봇이 실제로 어떻게 반응하는지를 관찰합니다. 이 방식은 모든 이미지를 고유한 사례로 취급하여, "찌르기"의 결과에 따라 로봇을 가르치는 방식을 정확하게 결정합니다.

"일률적인 찌르기"의 문제점

당신이 학생에게 다양한 과일을 식별하는 법을 가르치는 교사라고 상상해 보세요. 당신은 사과 사진을 가지고 있습니다. 학생이 정말로 사과를 보고 있는지 테스트하기 위해 당신은 줄기 부분을 가립니다.

기존 방식: 당신은 줄기를 가릴 때마다 학생이 반드시 틀려야 한다고 결정합니다. 그래야만 학생이 줄기를 보고 있었다는 증거가 되기 때문입니다. 만약 학생이 여전히 "사과"라고 답한다면, 당신은 학생이 부정행위를 했다고 생각할 것입니다.
현실: 때때로 줄기를 가리면 학생이 "모르겠어요!"라고 말할 수도 있습니다(좋은 신호입니다! 줄기를 보고 있었다는 뜻이니까요). 하지만 다른 경우에는 빨간 색상과 둥근 모양 덕분에 여전히 "사과"라고 답할 수도 있습니다. 혹은 단순히 흔한 과일이라서 "사과"라고 찍었을 수도 있으며, 이 경우 줄기를 가린 것이 그들의 게으른 추측에 아무런 영향을 주지 못했을 수도 있습니다.

이 논문의 저자들은 기존 방식이 이러한 다양한 반응을 모두 동일하게 취급한다는 사실을 발견했습니다. 그들은 이를 "연산자 조건부(operator-conditioned)" 감독이라고 부르는데, 이는 "우리가 이미지에 무엇을 했느냐에 따라 로봇에게 무엇을 할지 지시하는 것"이지, "로봇이 무엇을 했느냐에 따라 지시하는 것"이 아니라는 뜻입니다.

연구진은 로봇이 깨끗한 사진에서 정답을 맞힌 906개의 사례를 대상으로 테스트를 진행했습니다. 그런 다음 세 가지 방식으로 이미지의 일부를 가렸습니다: 전체 이미지를 검게 만들기, 무작위 마스크 씌우기, 또는 이미지의 작은 조각들을 서로 바꾸기(마치 퍼즐 조각을 잘라내어 다른 곳에 붙이는 디지털 버전처럼)입니다.

결과는 놀라웠습니다. 똑같은 "가리기" 도구를 사용했음에도 불구하고 로봇의 반응은 제각각이었습니다:

검은 이미지의 경우, 점수가 67.8%의 확률로 떨어졌지만, 32.2%의 확률로는 그대로 유지되었습니다.
무작위 마스크의 경우, 점수가 62.9%의 확률로 떨어졌지만, 37.1%의 확률로는 그대로 유지되었습니다.
**패치 스왑(patch swaps)**의 경우, 점수가 61.8%의 확률로 떨어졌지만, 38.2%의 확률로는 그대로 유지되었습니다.

이는 똑같은 "찌르기"가 어떤 사진에는 엄청난 영향을 주지만, 다른 사진에는 시간 낭비에 불과할 수 있음을 의미합니다. 기존 방식은 이 차이를 몰랐습니다. 그들은 단지 이미지를 가리면 로봇이 민감하게 반응해야 한다고 가정했을 뿐입니다.

SIVA-RL 솔루션: 똑똑한 코치

연구팀은 SIVA-RL(Sensitivity-Invariance Visual Alignment)을 제안했습니다. 이는 찌르기에 대한 학생의 반응을 지켜본 뒤 다음에 무엇을 말할지 결정하는 코치와 같습니다.

SIVA-RL 코치가 작동하는 방식은 세 단계로 간단합니다:

1. "PatchSwap" 찌르기
이미지 전체를 흐리게 하거나 검은 상자로 가리는 대신, SIVA-RL은 PatchSwap이라는 기술을 사용합니다. 기하학적 도형 사진이 있다고 상상해 보세요. 코치는 사진의 한 부분(예: 삼각형의 모서리)에서 작은 사각형을 가져와서 멀리 떨어진 다른 부분의 사각형과 바꿉니다. 이는 국소적인 세부 사항은 바꾸지만, 나머지 이미지는 정상적으로 유지합니다. 이는 방의 가구 배치를 바꾸는 것과 같습니다. 방은 그대로 있지만 구조가 약간 달라진 것입니다.

2. "감사(Audit)" (반응 확인)
로봇이 무언가를 배우기 전에, "동결된 감사(frozen audit)" 버전의 로봇(학습 시작 전의 스냅샷)이 원본 사진과 바뀐 사진을 각각 봅니다. 그리고 두 사진 모두에 대해 질문에 답하려고 시도합니다.

만약 로봇의 점수가 크게 떨어진다면(예: 100%에서 20%로), 이는 로봇이 이미지의 해당 특정 부분에 정말로 의존하고 있었다는 것을 의미합니다. 이것이 민감도(Sensitivity) 신호입니다.
만약 로봇의 점수가 그대로라면(예: 100%에서 98%로), 이는 로봇이 그 부분이 필요하지 않았거나, 혹은 그냥 찍었다는 것을 의미합니다. 이것이 불변성(Invariance) 신호입니다.
만약 점수가 약간 변했다면, 그것은 모호한(ambiguous) 상태이며, 코치는 일단 이를 무시할 수 있습니다.

3. 맞춤형 레슨
여기서 마법이 일어납니다. 코치는 모두에게 똑같은 레슨을 하지 않습니다.

"민감한" 경우 (큰 하락): 코치는 말합니다. "우리가 그 조각을 옮겼을 때 네가 실수했구나! 그건 네가 그걸 보고 있었다는 뜻이지만, 아마 충분히 주의 깊지는 않았던 것 같아. 이 특정 세부 사항을 구별하는 연습을 해보자." 목표는 로봇을 시각적 증거에 더 민k하게 만드는 것입니다.
"불변한" 경우 (작은 하락): 코치는 말합니다. "그 조각을 옮겼는데도 정답을 맞혔구나. 좋아! 하지만 네가 그냥 찍는 게 아니라는 걸 확실히 하자. 일관성을 유지하는 연습을 해보자." 목표는 로봇을 안정적이고 일관되게 만들어, 운 좋은 추측이나 텍스트 지름길에만 의존하지 않도록 하는 것입니다.
"모호한" 경우: 코치는 말합니다. "지금 무슨 상황인지 잘 모르겠으니, 일단 이번 건은 건너뛰자."

결과: 효과가 있는가?

연구진은 AI의 표준화된 테스트인 9가지 서로 다른 벤치마크에서 이 새로운 방법을 테스트했습니다. 이 테스트에는 다이어그램이 포함된 수학 문제, 그림이 있는 논리 퍼즐, 숫자 세기 작업 등이 포함되었습니다. 그들은 GRPO와 DAPO라는 두 가지 서로 다른 "백본(underlying engines)"을 사용했으며, 30억 개(3B) 및 70억 개(7B) 파라미터 크기의 두 모델을 테스트했습니다.

결과는 매우 강력했습니다.

전반적인 개선: SIVA-RL은 모든 테스트에서 모델의 성능을 향상시켰습니다. DAPO 엔진을 사용하는 7B 모델의 경우, 베이스라인 대비 전반적으로 **14.98%**의 상대적 향상을 보였습니다.
시각 의존적 과업: 가장 큰 성과는 이미지를 정말로 봐야 하는 과업에서 나타났습니다. 예를 들어, 시각 의존적 추론 과업에서 GRPO-7B 모델은 8.79 퍼센트 포인트의 이득을 보았습니다. 이는 SIVA-RL이 로봇이 단순히 추측하는 대신 실제 시각적 단서를 보도록 강제하는 데 특히 유능하다는 것을 시사합니다.
타 모델과의 비교: 7B SIVA-RL 모델은 훨씬 더 큰 모델(예: 72B 파라미터 모델)이나 유명한 빅테크 기업의 독점 모델들보다 더 나은 성능을 보였습니다.

이것이 왜 중요한가

이 논문은 모든 "찌르기"를 똑같이 취급해서는 안 된다고 주장합니다. 단순히 이미지의 일부를 가렸다고 해서 로봇이 반드시 실패해야 하는 것은 아닙니다. 때로는 로봇이 주의를 기울였기 때문에 실패할 수도 있고, 때로는 혼란스러워서 실패할 수도 있으며, 때로는 그냥 찍었기 때문에 실패하지 않을 수도 있습니다.

SIVA-RL은 더 나은 AI 추론의 핵심이 **결과 조건부 감독(outcome-conditioned supervision)**에 있다고 제안합니다. "이미지를 가렸으니 너는 민감해져야 해"라고 말하는 대신, "이미지를 가렸을 때 네 점수가 실제로 떨어졌으니, 그 특정 하락으로부터 배우자"라고 말하는 것입니다.

저자들은 이 방법이 로봇이 이제 인간처럼 "생각"한다거나 완벽한 시각적 접지(visual grounding)를 갖췄음을 증명하는 것은 아니라고 조심스럽게 언급합니다. 다만 로봇이 자신이 가진 시각적 증거를 더 잘 사용하게 되었다는 것을 의미합니다. 이 방법은 "찌르기"를 만드는 행위(개입)와 그 결과에 따라 무엇을 가르칠지 결정하는 행위(감독)를 분리함으로써 작동합니다.

결국, SIVA-RL은 일반적인 지시를 외치는 코치가 아니라, 선수의 구체적인 실수를 지켜보는 코치와 같습니다. 선수가 특정 돌에 걸려 넘어졌다면, 코치는 그 돌을 피하는 법을 도와줍니다. 만약 딴생각을 하다가 넘어졌다면, 코치는 집중하는 법을 도와줍니다. 모든 실수를 고유한 이야기로 다룸으로써, 로봇은 단순히 답을 찍는 것이 아니라 눈앞의 그림에 더 의존하며 학습하게 됩니다.

기술 요약: SIVA-RL

문제 정의

검증 가능한 보상을 사용하는 강화 학습(RLVR)은 조밀한 추론 궤적(reasoning trajectories)을 요구하지 않고도 태스크 수준의 정답 여부를 최적화함으로써 멀티모달 추론 능력을 발전시켜 왔습니다. 그러나 결정적인 한계가 남아 있습니다. 최종 정답이 맞았다고 해서 시각-언어 모델(VLM)이 반드시 시각적 증거에 기반하여 예측을 수행했다는 것을 보장하지는 않는다는 점입니다. 모델은 특히 카운팅(counting)이나 기하학(geometry)과 같이 시각 의존적인 태스크에서 언어적 사전 지식(language priors), 정답 빈도 편향(answer-frequency biases), 또는 암기된 템플릿에 의존하여 높은 보상을 얻을 수 있습니다.

기존 방법들은 원본 이미지와 변형된(개입된) 이미지를 대조함으로써 시각적 의존성을 강제하려고 시도합니다. 이러한 접근 방식은 일반적으로 **연산자 조건부 정규화(operator-conditioned regularization)**를 채택하며, 여기서 최적화 목표는 개입의 유형(예: 파괴적 개입은 분리를 강제하고, 완만한 변형은 일관성을 장려함)에 의해 미리 결정됩니다. 본 논문은 이러한 가정이 결함이 있다고 주장합니다. 동일한 시각적 연산자가 샘플 전반에 걸쳐 이질적인 결과를 생성하기 때문입니다. 단일 개입 유형은 어떤 샘플에서는 보상 하락(시각적 증거에 대한 민감도를 나타냄)을 유발하는 동시에, 다른 샘플에서는 결과가 안정적으로 유지(사전 지식 또는 중복된 증거에 대한 의존을 나타냄)될 수 있습니다. 결과적으로, 단순히 개입 유형에만 기반하여 균일한 감독 방향을 할당하는 것은 최적이 아닙니다.

방법론: SIVA-RL

저자들은 개입 구축과 감독 할당을 분리하는 프레임워크인 SIVA-RL(Sensitivity–Invariance Visual Alignment)을 제안합니다. 연산자 조건부 정규화 대신, SIVA-RL은 **샘플별, 결과 조건부 감독(sample-wise, outcome-conditioned supervision)**을 사용합니다.

1. 국소적 개입 구축 (Localized Intervention Construction)

SIVA-RL은 토큰 정렬 및 거리 제약이 있는 이미지 내 패치 스와핑 메커니즘인 PatchSwap을 사용하여 개입을 구축합니다.

메커니즘: 이미지를 시각적 토큰과 정렬된 그리드로 분할합니다. 후보 셀을 샘달링하고, 먼 거리의 소스 셀로부터 유효한 교체 대상 셀을 선택합니다(최소 거리 $d_{min}$ 을 강제함).
목표: 이는 전역적인 이미지 통계와 문맥은 보존하면서도, 국소적인 시각적 증거와 공간적 관계를 교란하여, 전역 마스킹보다는 강력하지만 완전한 제거보다는 덜 파괴적인 개입을 생성합니다.

2. 결과 조건부 소프트 라우팅 (Outcome-Conditioned Soft Routing)

동결된 감사 정책(그라디언트 없이 현재 모델의 스냅샷)이 각 클린-개입 쌍(clean–intervention pair)을 평가하여 훈련 신호를 결정합니다.

감사(Audit): 정책은 클린 이미지( $x_{cl}$ )와 개입된 이미지( $x_{ci}$ ) 모두에 대해 응답을 생성합니다. 검증기(verifier)는 이 응답들을 점수화하여 보상 $R_{cl}$ 과 $R_{ci}$ 를 얻습니다.
유효성 게이트(Validity Gate): 클린 응답이 정답이고( $R_{cl} \ge \tau_c$ ) 파싱 가능한 경우에만 쌍을 고려합니다.
라우팅 가중치: 관찰된 보상 하락 $\Delta_i = R_{cl} - R_{ci}$ $Δ_{i} = R_{c l} - R_{c i}$ 는 소프트 라우팅 가중치를 통해 감독 방향을 결정합니다.
- 민감도 정렬(Sensitivity Alignment): 큰 보상 하락은 모델이 수정된 증거에 의존했음을 나타냅니다. 이러한 쌍은 클린 응답과 개입된 정책 행동 사이의 분리(divergence)를 장려하는 가중치를 받습니다.
- 불변성 정렬(Invariance Alignment): 작은 보상 하락(정답이 안정적으로 유지되는 경우)은 수정 사항이 무관했거나 모델이 견고한 사전 지식에 의존했음을 나타냅니다. 이러한 쌍은 클린 응답과의 일관성(bounded alignment)을 장려하는 가중치를 받습니다.
- 기권(Abstention): 모호한 쌍(중간 정도의 하락)은 가중치를 낮추거나 건너뜁니다.

3. 이중 방향 정렬 (Dual-Direction Alignment)

프레임워크는 기본 RL 목적을 위해 샘플링된 클린 롤아웃 응답을 재사용합니다. 이 응답들은 훈련 가능한 정책을 사용하여 두 가지 시각적 조건 하에서 다시 점수화됩니다.

클린 앵커 측정(Clean-Anchored Measure): 클린 조건부 가능도(likelihood)는 스톱-그라디언트 앵커 역할을 합니다.
손실 함수:
- $L_{sen}$ : 높은 하락을 보이는 쌍에 대해 최소 분리 마진을 강제합니다.
- $L_{inv}$ : 낮은 하락을 보이는 쌍에 대해 불일치를 최대 마진 미만으로 제한합니다.
전체 목적 함수: 최종 손실은 기본 RL 목적(GRPO 또는 DAPO)과 이러한 보조 정렬 항들을 결합합니다: $L_{SIVA} = L_{base} + \lambda_{sen}L_{sen} + \lambda_{inv}L_{inv}$ .

주요 기여

개입 모호성 진단: 본 논문은 동일한 시각적 개입이 클린-정답 사례 내에서 혼합된 결과 하락 및 결과 안정 행동을 유도함을 입증합니다. 또한, 낮은 하락 쌍이 반드시 신뢰할 수 있는 불변성 신호는 아니며, 이는 작업과 무관한 섭동이나 언어적 지름길에서 비롯될 수 있음을 확립합니다.
결과 조건부 선택적 정렬: SIVA-RL은 시각적 개입 기반 RL을 선택적 감독 문제로 정식화하며, 개입의 유형이 아닌 관찰된 보상 하락에 따라 쌍을 라우팅함으로써 구축과 감독을 분리합니다.
확장 가능한 구현: 이 방법은 토큰 정렬된 PatchSwap과 함께 구현되며, GRPO 및 DAPO 백본과 호환됩니다. 가치 평가를 위한 쌍을 사용한 감사 외에 추가적인 확률적 샘플링을 요구하지 않습니다.

실험 결과

저자들은 9개의 벤치마크(수학, 논리, 카운팅, 시각 의존적 태스크 포함)에 대해 3B 및 7B Qwen2.5-VL 모델을 사용하여 SIVA-RL을 평가했습니다.

성능 향상: SIVA-RL은 모든 매칭된 RL 베이스라인을 일관되게 개선했습니다.
- 전체: 구성에 따라 상대적 개선 폭은 6.83%에서 14.98% 사이였습니다.
- 시각 의존적 태스크: 이 방법은 시각 의존적 추론 벤치마크에서 8.79 퍼센티지 포인트의 이득을 얻었으며, 일반적인 멀티모달 추론보다 현저히 높은 성능을 보였습니다.
- 비교: 7B SIVA-RL 모델은 보고된 7B 시스템 중 가장 강력한 전체 세트 평균을 달_성했으며, 특정 수학 및 시각 태스크에서 여러 더 큰 규모의 독점 및 범용 VLM을 능가했습니다.
어블레이션 연구(Ablation Studies):
- 개입 구축: 거리 제약이 있는 PatchSwap이 무작위 마스킹 및 제약 없는 PatchSwap보다 우수한 성능을 보였습니다.
- 라우팅 전략: 소프트 결과 조건부 라우팅이 하드 이진 라우팅보다 우수했으며, 이는 보상 하락의 크기가 더 부드럽고 신뢰할 수 있는 감독 신호를 제공함을 확인시켜 줍니다.
- 이중 방향: 민감도와 불변성 브랜치 모두 성능에 기여했습니다. 불변성 브랜치는 시각 의존적 서브셋에서 1.85포인트의 이득을 제공하여, 낮은 하락 쌍이 유용한 일관성 제약을 제공한다는 것을 입증했습니다.
훈련 진단: 분석 결과, 모델이 개입을 무시하도록 붕괴되지 않고 훈련 전반에 걸쳐 민감도 및 불변성 라우팅이 활발하게 작동함을 보여주었습니다.

의의 및 주장

본 논문은 SIVA-RL이 멀티모달 RL을 연산자 조건부 정규화에서 샘플별, 결과 조건부 선택적 감독으로 전환한다고 주장합니다. 샘플 수준에서의 개로 인한 개입의 이질성을 인정함으로써, 이 프레임워크는 시각적 수정의 실제 행동 영향에 따라 감독이 할당되도록 보장합니다. 이러한 접근 방식은 시각적 증거가 필요한 태스크에서는 모델이 시각적 증거에 기반하도록 효과적으로 강제하는 동시에, 시각적 증거가 중복되거나 사전 지식이 충분한 태스크에서는 견고함을 유지합니다. 결과는 이러한 샘플 단위의 가치 평가가 RLVR 설정에서 시각적 추론을 개선하기 위한 고정된 개입 정의의 더 효과적인 대안임을 시사합니다.