💻 computer science

Diagnosing Corruption-Induced Reliability Failures in Vision-Language Models

이 논문은 시각적 손상이 최상위 1위 정확도(top-1 accuracy)가 개선되는 것처럼 보일 때조차 어떻게 시각-언어 모델의 분포적 신뢰성과 구조적 안정성을 은밀하게 저하시킬 수 있는지를 밝히기 위한 통제된 테스트베드인 Bench-C와 강건성 정렬 점수(Robustness Alignment Score, RAS) 지표를 소개한다.

원저자: Xiangjie Sui, Songyang Li, Hanwei Zhu, Baoliang Chen, Yuming Fang, Xin Sun

게시일 2026-07-10

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Xiangjie Sui, Songyang Li, Hanwei Zhu, Baoliang Chen, Yuming Fang, Xin Sun

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 아주 똑똑한 로봇 친구와 함께 객관식 퀴즈를 풀고 있다고 상상해 보세요. 당신이 빨간 사과 사진을 보여주며 "이건 무슨 색이야?"라고 물으면, 로봇은 자신 있게 "빨강!"이라고 외치며 금색 별을 얻습니다. 하지만 만약 그 사진이 흐릿하거나, 노이즈가 끼어 있거나, 혹은 비 오는 날 찍은 것처럼 보인다면 어떻게 될까요?

대부분의 사람들은 사진이 좀 지저로워 보이더라도 "분명히 빨간색이야!"라고 말할 것입니다. 하지만 여기서 반전이 있습니다. 사진을 보고 그것에 대해 말하는 로봇인 **시각-언어 모델(Vision-Language Models, VLMs)**은 단순한 "맞음 또는 틀림" 점수로는 완전히 놓칠 수 있는 방식으로 속임수에 빠질 수 있습니다.

이것이 바로 **"시각-언어 모델의 부식 유도 신뢰성 실패 진단(Diagnosing Corruption-Induced Reliability Failures in Vision-Language Models)"**이라는 제목의 이 논문이 다루는 핵심 내용입니다. 저자들은 로봇의 시야가 "부식(corrupted)"되었을 때(사진이 흐려지거나, 노이즈가 생기거나, 왜곡되는 경우 등) 어떤 일이 일어나는지 들여다보기 위해 BENCH-C라는 특별한 테스트 환경을 구축했습니다.

거대한 놀라움: 로봇은 스스로를 속일 수 있다

주요 발견은 다소 직관에 어긋납니다. 보통 우리는 로봇이 문제를 틀리면 고장 났다고 생각합니다. 하지만 이 논문은 때때로 로봇이 내부적인 확신이 완전히 무너졌음에도 불구하고 정답을 "맞게" 맞히는 경우가 있다는 것을 발견했습니다.

이렇게 생각해 보세요:

침묵의 붕괴 (The Silent Crash): 로봇이 흐릿한 빨간 사과 사진을 봅니다. 그리고 여전히 "빨강!"이라고 말합니다 (그래서 점수는 "정답!"이라고 나옵니다). 하지만 그 내부에서는 뇌가 비명을 지르고 있습니다. "잘 모르겠어! 빨간색일 수도 있고, 주황색일 수도 있고, 아니면 토마토일지도 몰라!" 로봇은 확신을 잃었지만, 최종 답변은 바뀌지 않았습니다. 점수는 "좋음"이라고 나오지만, 실제 신뢰성은 깨진 상태입니다.
운 좋은 추측 (The Lucky Guess): 때때로 지저 모양의 사진이 로봇의 마음을 "파랑"에서 "빨강"(정답)으로 바꿉니다. 점수는 "훌륭해! 더 좋아졌어!"라고 말합니다. 하지만 이 논문은 이것이 단순한 요행일 수 있다고 제안합니다. 로봇이 갑자기 사과를 이해하게 된 것이 아니라, 뇌가 흔들리는 와중에 우연히 정답에 걸려든 것뿐입니다.

저자들은 단순히 최종 답변(Top-1 Accuracy)만 보는 것은 영화의 결말만 보고 영화를 평가하는 것과 같다고 주장합니다. 결말을 보기 전까지 배우들이 대사를 잊어버렸거나, 카메라가 흔들렸거나, 줄거리가 엉망이었다는 사실을 놓칠 수 있기 때문입니다.

새로운 도구: BENCH-C와 "RAS" 점수

이러한 교활한 실패를 잡아내기 위해 팀은 BENCH-C를 만들었습니다. 4,000개의 퀴즈 질문이 담긴 커다란 가방을 상상해 보세요. 대부분의 질문은 사진이 아무리 나빠져도 로봇이 정답을 맞히기 때문에 지루합니다(예를 들어, 사진이 명확한 고양이인데 "이것은 고양이인가?"라고 묻는 경우).

저자들은 이 가방을 849개의 "진단용" 질문으로 걸러냈습니다. 이 질문들은 사진이 지저분해질 때 로봇의 답변이 실제로 변하거나 흔들리는 까다로운 것들입니다. 그들은 이 질문들을 19가지 유형의 다양한 시각적 부식(흐림, 노이즈, 날씨, 디지털 글리치 등)과 5단계의 심각도(약간 뿌연 정도부터 알아볼 수 없는 정도까지)를 사용하여 13개의 서로 다른 VLM에 대해 테스트했습니다.

로봇의 "정신 상태"를 측정하기 위해, 그들은 **RAS (Robustness Alignment Score)**라는 새로운 점수를 발명했습니다.

로봇이 정답을 맞히고 확신을 유지한다면, RAS는 만족합니다.
로봇이 정답을 맞혔지만 혼란스러워하거나(또는 틀렸는데 지나치게 확신한다면), RAS는 떨어집니다.

발견한 내용 (아하! 모먼트)

논문은 13개의 모델을 측정하여 몇 가지 이상한 패턴을 발견했습니다.

가벼운 부식이 오히려 점수를 더 좋게 보이게 만들 수 있다, 비록 로봇은 더 나빠졌을지라도.
가끔 사진에 약간의 노이즈를 추가하면 로봇의 답변이 "틀림"에서 "맞음"으로 변하기도 합니다. 점수가 올라갑니다! 하지만 저자들은 이것이 실제 개선이 아니라 불안정한 행동일 뿐이라고 제唆합니다. 로봇이 흔들리고 있는 것이며, 가끔은 우연히 정답 쪽으로 흔들리는 것뿐입니다.
문제의 "출처"가 중요하다.
그들은 질문을 두 그룹으로 나누었습니다: 사진이 지저분해지기 전에 로봇이 맞혔던 문제와, 맞히지 못했던 문제입니다.
- 원래 정답이었던 경우: 이 문제들이 지저분해지면, 로봇은 종종 정답을 유지하지만 확신을 잃습니다 (침묵의 퇴보).
- 원래 오답이었던 경우: 이 문제들이 지저분해지면, 로봇은 때때로 답을 수정하기도 하지만, 이는 종종 불안정하고 일시적인 해결책일 뿐입니다.
심각도가 게임의 판도를 바꾼다.
부식이 심해짐에 따라 (레벨 1에서 5로), "원래 정답이었던" 질문들에 대한 피해는 훨씬 심각해졌습니다. 하지만 이상하게도 "원래 오답이었던" 질문들은 가끔 더 좋아지는 것처럼 보였습니다 (정답을 맞힐 확률이 높아짐). 저자들은 이것이 로봇이 학습했기 때문이 아니라, 혼돈이 너무 심해져서 가끔 운 좋게 정답을 맞히게 되는 것이라고 제안합니다. 반면 탄탄했던 답변들은 무너지고 있었습니다.

발견하지 못한 것 (노프! 리스트)

이 논문은 자신이 주장하지 않는 부분에 대해서도 매우 신중합니다:

이 오류들이 현실 세계에서 얼마나 자주 발생하는지에 대한 것이 아닙니다. 테스트베드(BENCH-C)는 현실의 사진 중 얼마나 많은 사진이 흐릿한지를 세기 위한 것이 아니라, 민감한 샘플을 찾아내도록 설계되었습니다. 따라서 이 결과가 모든 사진의 50%가 고장 났다는 뜻은 아닙니다. 단지 이 특정 사진들이 테스트에 매우 적합하다는 뜻입니다.
이것은 마법 같은 해결책이 아닙니다. 논문은 우리가 문제를 해결했다거나 로봇이 이제 안전해졌다고 말하지 않습니다. 단지 "이봐, 우리의 현재 테스트 방식은 많은 위험을 놓치고 있어"라고 말할 뿐입니다.
로봇의 뇌가 "의식을 가졌다"는 것에 대한 것이 아닙니다. 우리는 감정이 아니라 수학(확률 분포)을 보고 있습니다.

요점

저자들은 80,655개의 부식된 이미지-질문 쌍을 측정했으며, 신뢰성은 단순히 정답을 맞히는 것 그 이상이라는 것을 발견했습니다. 모델은 내부 논리가 무너지고 있음에도 불구하고 성적표상으로는 완벽해 보일 수 있습니다.

그들은 미래에 로봇을 훈련시킬 때 단순히 정답을 맞히도록 훈련하는 것이 아니라, 사진이 엉망이 되더라도 정답일 때는 확신을 유지하고, 틀렸을 때는 불확실함을 유지하도록 훈련해야 한다고 제안합니다.

요약하자면: 답변만 믿지 마세요. 그 뒤에 있는 확신을 믿으세요. 만약 로봇이 "빨강!"이라고 말하지만 그 뇌가 흔들리고 있다면, 아직은 믿음직한 친구가 아닙니다.

기술 요약: 시각적 손상으로 인한 신뢰성 실패 진단 (Vision-Language Models)

문제 정의
시각적 손상(Visual Corruption) 하에서의 시각-언어 모델(VLM) 평가는 현재 상위-1 정확도(top-1 accuracy)에 크게 의존하고 있다. 그러나 저자들은 정확도가 근본적인 예측 구조의 변화를 포착하지 못하기 때문에 신뢰성을 측정하기에는 불충분한 지표라고 주장한다. 모델은 정답을 유지하면서도 분포적 지지(distributional support)를 상실할 수 있으며(침묵하는 성능 저하, silent degradation), 혹은 불안정하고 과도하게 확신에 찬 변화를 통해 오답에서 정답으로 전환될 수도 있다. 또한, 표준 벤치마크에는 손상과 관계없이 정답이 안정적으로 유지되는 저차별 샘플(low-discriminative samples)이 포함되어 있어 모델 간의 차이를 가리는 경우가 많다. 본 논문은 경미한 손상이 때때로 상위-1 정확도를 향상시키는 '시각적 품질의 역설(visual quality paradox)'을 식별하였으나, 이러한 이득이 신뢰할 수 있는 교정인지 아니면 불안정한 동작인지는 여전히 불분명하다.

방법론
이러한 격차를 해결하기 위해, 저자들은 통제된 진단 테스트베드인 BENCH-C와 분포 수준의 신뢰성을 측정하기 위한 지표인 **강건성 정렬 점수(Robustness Alignment Score, RAS)**를 제안한다.

BENCH-C 구축:
- 후보 풀(Candidate Pool): 저자들은 텍스트 풍부성, 공간적 추론, 미세한 추론 작업을 포괄하는 6개의 다양한 다중 선택 벤치마크(예: SEEDBENCH2+, MMBENCH)에서 4,000개의 샘플을 수집하였다.
- 손상 프로토콜(Corruption Protocol): ImageNet-C 관례를 따라, 5개의 순차적인 심각도 수준에 걸쳐 19가지 단일 요인 손상(광학적, 블러, 노이즈, 날씨, 디지털 아티팩트 그룹으로 분류)을 적용하였다.
- 진단적 선택(Diagnostic Selection): 무작위 샘플링 대신, BENCH-C는 손상에 민감한 샘플을 선택한다. 정답 궤적의 지니 불순도(Gini impurity)를 통해 정답이 심각도 수준에 따라 변하는 샘플을 필터링하고, 이미지 및 텍텍스트 임베딩에 대한 탐욕적 선택(greedy selection)을 통해 의미론적 다양성을 보장한다.
- 최종 데이터셋: 결과물인 테스트베드는 849개의 진단 질문과 80,655개의 손상된 이미지-질문 쌍을 포함한다.
예측 구조 진단:
- 저자들은 단순히 argmax 정답만이 아니라 옵션 수준의 확률 분포 $p$ 를 분석한다.
- 불확실성 변화 ( $\Delta S$ ): 정규화된 엔트로피의 변화로 측정되며, 분포가 더 평탄해지는지(결정력이 낮아지는지) 또는 더 날카로워지는지를 나타낸다.
- 신뢰도-정답 정렬 변화 ( $\Delta C$ ): 모델의 상위-1 신뢰도와 해당 예측의 정답 여부 사이의 절대적 차이의 변화로 측정된다.
- 강건성 정렬 점수 (RAS): $RAS = -\Delta C - [\Delta C]^+[-\Delta S]^+ - [-\Delta S]^+[\Delta C]^+$ 로 정의되는 복합 지표이다. 이 점수는 '과도한 확신에 의한 성능 저하'(낮은 엔트로피와 낮은 정렬)와 '주저하는 지지'(높은 엔트로피와 높은 정렬)를 처벌하며, 개선된 정렬에 보상을 준다. RAS의 범위는 -2에서 1까지이다.
속성 분석 프레임워크(Attribution Framework):
- 원천 속성(Source Attribution): 변화는 '원래 정답이었던' ( $Q_c$ ) 샘플과 '원래 오답이었던' ( $Q_w$ ) 샘플로 구분된다.
- 상태 속성(State Attribution): 샘플은 깨끗한 상태와 손상된 상태의 정답 여부에 따라 $Q_{cc}$ (정답 $\to$ 정답), $Q_{cw}$ (정답 $\to$ 오답), $Q_{wc}$ (오답 $\to$ 정답), $Q_{ww}$ (오답 $\to$ 오답)의 네 가지 상태로 분류된다.
- 궤적 분석(Trajectory Analysis): 저자들은 변화가 5단계의 심각도 수준에 걸쳐 일시적인지 혹은 지속적인지를 추적한다.

주요 결과
13개의 VLM에 대한 실험 결과, 손상 유발 신뢰성 실패는 정확도가 시사하는 것보다 더 구조화되어 있음이 드러났다:

정확도와 구조의 불일치: 높은 깨끗한 상태의 정확도가 강건성을 보장하지는 않는다. 예를 들어, Qwen2.5-VL은 가장 높은 깨끗한 상태의 정확도를 가졌으나 가장 큰 정확도 손실과 가장 낮은 RAS를 기록했다. 반대로, 깨끗한 상태의 정확도가 더 낮은 모델들이 때때로 더 나은 구조적 강건성(RAS)을 보이기도 했다.
숨겨진 성능 저하: 원래 정답이었던 샘플( $Q_{cc}$ )에서 모델들은 종종 정답을 유지하면서도 분포적 지지를 상실(음의 RAS)하였으며, 이는 침묵하는 성능 저하를 나타낸다.
역설적인 이득: 겉으로 보이는 정확도 상승은 종종 '오답에서 정답으로'의 전환( $Q_{wc}$ )에서 기인한다. 그러나 이러한 이득은 흔히 원래 정답이었던 샘플들에 대한 상당한 성능 저하와 공존한다. 논문은 강한 손상이 원래 오답이었던 답변을 더 정답처럼 보이게 만드는 동시에(양의 구조적 변화), 원래 정답이었던 예측을 불안정하게 만들 수 있다고 언급한다.
심각도 추세: 손상 심도가 높아짐에 따라, 원래 정답이었던 샘플에 대한 피해는 더 음수(negative)가 되는 반면, 원래 오답이었던 샘플에 대한 구조적 개선은 더 양수(positive)가 된다. 이는 심각한 손상이 강건한 교정이 아닌 예측 구조의 불안정성을 유도함을 시사한다.
손상 유형: 블러(Blur)는 특히 원래 정답이었던 샘플에 치명적인 것으로 확인되었는데, 이는 미세한 윤곽선과 국소적 그라운딩 단서의 손실 때문인 것으로 보인다.

의의 및 주장
본 논문은 BENCH-C와 RAS가 '최종 답변'을 평가하는 것에서 '예측 구조'를 평가하는 것으로의 필수적인 전환을 제공한다고 주장한다. 이 연구의 의의는 다음과 같다:

숨겨진 실패의 규명: 모델이 정답을 유지하면서도 신뢰성을 잃을 수 있거나(침묵하는 성능 저하), 불안정한 메커니즘을 통해 정확도를 높일 수 있음을 밝혀냈다.
신뢰성 변화의 속성 규명: 신뢰할 수 있는 행동의 손상과 신뢰할 수 없는 행동의 교정을 구분함으로써, 집계된 정확도 상승이 근본적인 구조적 비용을 가릴 수 있음을 보여주었다.
강건성 학습 가이드: 저자들은 강건성 학습이 단순히 정답의 불변성을 보상하는 것이 아니라, 특히 미세한 시각적 증거에 대해 신뢰도-정답 정렬과 분포적 지지를 보존하는 것을 목표로 해야 한다고 제안한다.

결론적으로, 본 연구는 강건성 평가가 시각적 저하 상황에서 신뢰성이 어디서, 어떻게 변하는지를 정확히 진단하기 위해 집계된 지표를 넘어 원천, 상태, 심각도 궤적 분석을 포함해야 함을 강조한다.

거대한 놀라움: 로봇은 스스로를 속일 수 있다

새로운 도구: BENCH-C와 "RAS" 점수

발견한 내용 (아하! 모먼트)

발견하지 못한 것 (노프! 리스트)

요점

기술 요약: 시각적 손상으로 인한 신뢰성 실패 진단 (Vision-Language Models)

유사한 논문