🤖 AI

It's the Decoding Format, Not the Perturbation: Auditing Consistency-Based Selection for Vision-Language Test-Time Scaling

이 논문은 시각-언어 테스트 타임 스케일링에서 섭동 기반 선택(Perturbation Grounded Selection, Pgs)이 다수결 투표보다 성능이 우수한 것처럼 보이지만, 그 외견상의 이득은 통제되지 않은 디코딩 형식의 결과물이며, 형식을 일치시킨 대조군을 통해 디코딩 예산과 형식이 적절히 정렬되면 섭동 일관성만으로는 신뢰할 수 있는 선택 신호가 아님을 밝힘으로써 그 이득이 상당 부분 인위적인 것임을 입증한다.

원저자: Puzhuo Zheng, Hasan Kurban

게시일 2026-08-04

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Puzhuo Zheng, Hasan Kurban

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 초지능형 로봇에게 퍼즐을 푸는 법을 가르치려 한다고 상상해 보세요. 인공지능의 세계에는 '테스트 시간 스케일링(test-time scaling)'이라는 영리한 기술이 있습니다. 로봇에게 문제를 한 번 풀고 운에 맡기는 대신, 동시에 여러 가지 다른 해결책을 시도하도록 요청하는 것입니다. 그런 다음 당신은 심판 역할을 하며 그 더미 중에서 가장 좋은 답을 골라냅니다. 텍스트 전용 로봇에게 이 방법은 마법처럼 작동합니다. 로봇이 열심히 고민하여 열 가지의 서로 다른 답을 생성한다면, 가장 자주 등장하는 답이 보통 정답입니다. 이는 방 안의 사람들에게 수학 문제를 질문하는 것과 같습니다. 만약 아홉 명이 "42"라고 말하고 한 명이 "43"이라고 말한다면, 당신은 아마도 "42"를 선택할 것입니다.

하지만 이 로봇들에게 눈을 달아주면(이를 '시각-언어 모델(VLMs)'이라고 합니다), 상황은 까다로워집니다. 로봇은 사진을 볼 수 있지만, 실제 이미지를 무시하고 이전에 들었던 것에 기반해 추측하는 강한 습관이 있습니다. 때때로 로봇은 나뭇잎 사진을 보고도 나무가 자라는 이야기에 대한 기억 때문에 "씨앗"이라고 추측하곤 합니다. 기존의 방식인 단순히 '가장 흔한 답'을 고르는 기법은 여기서 실패합니다. 왜냐하면 로봇이 열 번 연속으로 확신을 가지고 틀린 답을 내놓을 수도 있기 때문입니다. 과학자들은 로봇이 자신의 작업을 "재확인"하도록 만들어 이 문제를 해결하려고 노력해 왔지만, 새로운 연구는 매우 중요한 질문을 던집니다. 로봇이 정말로 사진을 보고 있는 것일까요, 아니면 단지 다른 방식으로 말을 하고 있는 것뿐일까요?

이 논문은 **섭동 기반 선택(Perturbation-Grounded Selection, Pgs)**이라는 새로운 방법을 조사합니다. Pgs의 아이디어는 단순하고 유희적입니다. 로봇이 정말로 이미지를 보고 있는지 확인하기 위해, 사진을 약간 "흔드는(jitter)" 것입니다. 즉, 사진을 자르거나, 밝기를 바꾸거나, 배경을 가리는 등의 작업을 수행한 뒤 로봇에게 다시 문제를 풀도록 요청합니다. 만약 사진이 조금 변했음에도 로봇이 계속해서 같은 답을 내놓는다면, 이 방법은 그 답이 이미지에 "근거(grounded)"를 두고 있다고 가정합니다. 반대로 답이 크게 변한다면, 로봇이 기억에 의존해 추측하고 있다고 가정합니다. 연구진은 이 "흔들기 테스트(jitter test)"가 기존의 "가장 흔한 답" 방식보다 더 나은 답을 고르는 데 도움이 될 수 있는지 알고 싶었습니다.

하지만 연구진은 기존 테스트 방식에서 교묘한 문제가 있음을 발견했습니다. 새로운 방법(Pgs)은 흔들린 사진을 확인할 때 로봇에게 짧고 빠른 답변을 요구한 반면, 기존 방식(Majority Voting)은 원래 사진에 대해 길고 상세한 사고 과정(Chain-of-Thought)을 요구했습니다. 문제는 짧은 답변을 요구하는 것이 실제 이미지를 보고 있는지 여부와 상관없이 로봇이 맞히기에 더 쉽다는 점입니다.

이를 해결하기 위해 팀은 MatchedCtrl이라는 공정한 비교 대조군을 만들었습니다. 그들은 로봇에게 똑같이 짧고 빠른 답변을 요구하되, 이번에는 사진을 전혀 흔들지 않고 원래의 사진에 대해 빠르게 답변하도록 했습니다. 이 "흔들기 방법(Pgs)"을 "공정한 짧은 답변 방법(MatchedCtrl)"과 비교했을 때, 마법은 사라졌습니다. 흔들기 방법이 실제로 더 나은 답을 고르지는 못했습니다. 사실, ViLP라는 어려운 테스트에서 흔들기 방법은 때때로 더 낮은 성능을 보이기도 했습니다.

이 논문은 "흔들기"가 로봇의 행동에 측정 가능한 차이를 만들어내기는 하지만(즉, 로봇이 사진 변화에 반응한다는 것은 사실이지만), 이러한 반응이 로봇이 더 나은 답을 고르는 데 실제로 도움이 되지는 않는다는 것을 보여줍니다. 어떤 이들이 이전에 보았던 큰 폭의 이득(한 테스트에서 최대 +31.8 포인트)은 로봇이 갑자기 사진을 더 주의 깊게 보게 되었기 때문이 아니라, 단지 로봇이 답변하는 형식이 달라졌기 때문이었습니다.

결국 저자들은 단순히 약간 변형된 사진에 대해 다시 답변하도록 요청하는 것이, 답변 형식을 제어하고 있을 때 로봇이 이미지를 보도록 강제하는 신뢰할 만한 방법은 아니라고 결론짓습니다. "흔들기" 신호는 실재하지만, 그것이 로봇을 더 똑똑하게 만드는 마법의 스위치는 아닙니다. 로봇을 진정으로 개선하려면, 단순히 답변 형식을 바꾸는 것에 의존하지 않고 사진을 보게 만드는 더 나은 방법을 찾아야 할 것입니다. 이 연구는 우리가 더 나은 방법을 찾기 전까지는, 공정한 비교 없이 단순히 기존의 "가장 흔한 답" 규칙을 이겼다고 해서 새로운 방법이 효과적이라고 주장하는 것에 매우 주의해야 함을 시사합니다.

기술 요약: 문제는 섭동(Perturbation)이 아니라 디코딩 형식이다

문제 정의

LLM의 추론 능력을 향상시키기 위해 여러 후보 해답을 샘플링하고 최적의 해답을 선택하는 기법인 테스트 타임 스케일링(Test-time scaling)은 시각-언어 모델(VLM)로의 전이가 제대로 이루어지지 않았다. 최근 연구에 따르면, VLM의 경우 정교한 자기 검증(self-verification)이나 자기 일관성(self-consistency) 기반의 선택 방법보다 단순 다수결 투표(majority voting)가 더 나은 성능을 보이는 경우가 많다. 핵심적인 문제는 선택 계층에서, 이미지에 근거한 정답과 언어적 사전 지식(language priors)에서 유도된 확신에 찬 추측이 모델에게는 구별 불가능해 보일 수 있다는 점이다. 표준적인 선택 신호(예: 발생 빈도 또는 구어체적 확신도)는 해당 답변이 시각적 입력 픽셀에 의존하는지 여부를 명시적으로 테스트하지 못하기 때문에 실패한다.

이러한 "선택 계층 누출(selection layer leak)" 문제를 해결하려는 기존 솔루션들은 일반적으로 광범위한 학습(강화 학습, 도구 사용 커리큘럼)을 요구하거나 모델 내부 정보(어텐션 마스킹, 외부 검증 네트워크)에 접근해야 한다. 소비자용 하드웨어에서 추론 시점에만 작동하는 레이블 프리(label-free), 학습 프리(training-free) 선택 메커니즘은 부족한 실정이다.

방법론

저자들은 이미지를 통하지 않고서는 계산될 수 없는 선택 신호를 생성하도록 설계된 레이블 프리, 학습 프리 규칙인 **섭동 기반 선택(Perturbation-Grounded Selection, Pgs)**을 제안하고 평가한다.

섭동 기반 선택 (Pgs)

Pgs는 입력 이미지에 대한 레이블 보존형 섭동(label-preserving perturbations) 하에서의 안정성을 측정하여 후보 답변의 점수를 매긴다.

샘플링: 모델은 원본 이미지로부터 사고 사슬(Chain-of-Thought, CoT) 추론을 포함한 $N$ 개의 초기 후보 답변을 생성한다.
섭동: 입력 이미지는 관련 영역으로의 크롭(cropping), 배경 마스킹, 또는 가벼운 광학적/기하학적 지터(jitter) 적용과 같은 레이블 보존형 섭동 집합( $T$ )을 사용하여 변형된다.
재도출: 각 섭동된 뷰(view)에 대해, 모델은 짧은 답변 전용 샘플(CoT 없음) $K$ 개를 생성한다.
점수 산정: 후보 답변 $c$ $c$ 는 원래의 투표 수와 섭동된 뷰들에 대한 재도출 빈도의 가중 합을 결합한 근거 지지 점수 $g(c)$ $g (c)$ 를 받는다.
- 수학적으로, $g(c) = \text{votes}_{\text{original}} + \lambda \sum \rho(c | t_m(x), q)$ 이며, 여기서 $\rho$ 는 섭동된 뷰에 대한 일관성 점수이다.
선택: 가장 높은 $g(c)$ $g (c)$ 를 가진 답변이 선택된다.
- 참고: 섭동 집합이 비어 있는 경우, Pgs는 표준 다수결 투표로 축소된다.

대조군: MatchedCtrl

논문은 이전 평가에서의 중요한 혼란 변수(confound)를 식별한다: Pgs(섭동 시 짧은 답변/No-CoT 샘플 사용)를 표준 다수결 투표(CoT 전용 샘포 사용)와 비교하는 것은 선택 메커니즘과 디코딩 형식의 변화(CoT vs. 짧은 답변)를 혼동하는 것이다.

이 효과를 격리하기 위해 저자들은 MatchedCtrl을 도입한다:

이는 동일한 $N$ 개의 CoT 샘플을 사용한다.
Pgs와 동일한 수의 짧은 답변 전용 샘플( $M \times K$ )을 추가한다.
결정적으로, 이 추가된 짧은 샘플들은 원래의 섭고되지 않은 이미지로부터 추출된다.
이를 통해 Pgs와 MatchedCtrl 사이의 성능 차이가 섭동 라우팅 때문인지, 아니면 디코딩 형식이나 짧은 답변의 예산(budget) 때문인지가 아닌, 오직 섭동 메커니즘에 의한 것임을 보장한다.

주요 기여

디코딩 형식 혼란 변수의 식별: 섭동 기반 선택기가 CoT 전용 다수결 투표보다 우수하다고 보고된 이득이 종종 긴 CoT 트레이스에서 짧은 답변 전용 트레이스로 전환함에 따른 결과물임을 입증한다.
MatchedCtrl 대조군: 예산과 디코딩 형식(짧은 답변, No-CoT)을 원래 이미지에 대해 일치시킴으로써 섭동 메커니즘을 격리하는 새로운 실험 프로토콜을 제시한다.
부정적 경험적 결과: MatchedCtrl 대조군 하에서, Pgs는 시각적 근거가 필요한 벤치마크를 포함하여 어떤 벤치마크에서도 유의미한 우위를 보여주지 못했다.
진단 vs. 라우팅 구분: 논문은 섭동 일관성(Stability Gap)이 시각적 의존성에 대한 유효한 진단(diagnostic) 도구(이미지가 변경될 때 점수가 변함)가 될 수는 있지만, 일단 디코딩 형식이 제어되면 선택 정확도를 개선하는 데 사용할 수 있는 *라우팅 신호(routing signal)*로서 기능하지는 못함을 확립한다.
오픈 툴링: 섭동 기반 선택에 대한 주장을 감사할 수 있도록 코드와 감사 도구(쌍을 이룬 부트스트랩 신뢰 구간 포함)를 공개한다.

결과

저자들은 Qwen2.5-VL-7B와 LLaVA-OneVision-7B를 사용하여 TextVQA, MATH-Vision, MMMU, ViLP의 네 가지 벤치마크에서 Pgs, 다수결 투표(MV), MatchedCtrl을 평가했다.

Pgs vs. MV (불공정한 비교): Pgs는 TextVQA에서 표준 다수결 투표보다 크게 앞서는 것처럼 보였으며(+31.8 퍼센티지 포인트), 다른 곳에서도 완만한 이득을 보였다.
Pgs vs. MatchedCtrl (공정한 비교): (원래 이미지에 대해 짧은 답변 예산을 사용하는) MatchedCtrl과 비교했을 때, Pgs는 어떤 벤치마크에서도 신뢰할 만한 우위를 보여주지 못했다.
- TextVQA의 경우, MatchedCtrl(87.6%)이 실제로 Pgs(86.2%)보다 약간 더 높은 성능을 보였다.
- 언어적 사전 지위에 대한 근거 능력을 테스트하도록 설계된 벤치마크인 ViLP에서, MatchedCtrl(53.7%)이 Pgs(52.3%)를 앞질렀다.
Stability Gap 분석: "보존/파괴" 안정성 격차(원본과 블랭킹/파괴된 입력 간의 점수 차이)는 실제 존재했으며 이미지에 따라 달랐다(최대 +0.48). 그러나 큰 격차가 Pgs가 MatchedCtrl보다 개별 인스턴스에서 승리할 것을 예측하지는 못했다.
Ablation 연구: 섭동 입력에 블랭킹을 적용했을 때 시각적 작업에서의 Pgs 성능이 무너졌으며, 이는 신호가 이미지에 의존함을 확인시켜 주었다. 그러나 이것이 대조군 대비 선택 이득으로 이어지지는 않았다.

의의 및 주장

논문은 섭동 일관성은 기껏해야 시각적 의존성에 대한 부분적인 진단 도구일 뿐이며, 디코딩 형식이 제어된 상태에서는 그 자체로 사용 가능한 선택 신호가 아니다라고 결론짓는다.

주장의 재평가: CoT 전용 다수결 투표에 대해 보고된 섭동 기반 방법의 이득은 원본 이미지에 대한 짧은 답변 집계의 이점을 고려하지 못했기 때문에 과장되었을 가능성이 높다.
"무효(Null)" 결과: 본 연구는 측정된 무효 결과를 제공한다. 즉, 섭동 기반 재도출을 단순히 추가하는 것은 원본 이미지로부터 짧은 답변(No-CoT)을 집계하는 것으로 얻을 수 있는 성과 이상의 선택 정확도를 향상시키지 못한다.
향후 방향: VLM의 테스트 타임 스케일링 진보는 답변 수준의 일관성을 넘어, 더 조밀한 시각적 프로브(visual probes), 프로세스 수준의 보상(process-level rewards), 또는 모델 간 불일치(cross-model disagreement)와 같은 정보원을 필요로 할 것이다.
방법론적 표준: 저자들은 섭동 기반 선택을 사용하는 모든 미래의 선택 규칙은 디코딩 형식의 효과를 잘못 귀속시키는 것을 방지하기 위해 반드시 형식 매칭 대조군(MatchedCtrl과 같은)을 포함해야 한다고 주장한다.

이 논문은 섭동 신호 자체가 쓸모없다고 주장하는 것이 아니라, 디코딩 형식을 제어했을 때 섭동 신호가 단독 선택기로서 불충분하다는 점을 주장한다. Stability Gap은 모델이 이미지를 "보고 있는지"를 감사하는 데는 여전히 유용하지만, 공정한 대조군이 있을 때 어떤 답변을 선택할지 결정하는 데는 적절하지 않다.