💬 NLP

Can Argus Judge Them All? Comparing VLMs Across Domains

이 논문은 벤치마크 능력과 데이터셋 간 신뢰성 사이의 균형을 통해 시각-언어 모델을 평가하는 새로운 프레임워크인 ARGUS-EVAL을 소개하며, Qwen-2.5VL-3B-Instruct 및 CLIP과 같은 모델들 사이에서 전통적인 성능 순위와 실제 세계의 안정성 간에 상당한 차이가 있음을 밝혀낸다.

원저자: Harsh Joshi, Gautam Siddharth Kashyap, Rafiq Ali, Ebad Shabbir, Niharika Jain, Sarthak Jain, Jiechao Gao, Usman Naseem

게시일 2026-07-14

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Harsh Joshi, Gautam Siddharth Kashyap, Rafiq Ali, Ebad Shabbir, Niharika Jain, Sarthak Jain, Jiechao Gao, Usman Naseem

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 거대하고 첨단 기술이 집약된 서커스의 인재 발굴가라고 상상해 보세요. 당신은 최고의 "시각-언어 모델(Vision-Language Models, VLMs)"—사진을 보고 상황을 설명하거나, 유사한 사진을 찾아내거나, 사진에 관한 퍼즐을 풀 수 있는 초지능 로봇들을 고용해야 합니다.

보통 로봇을 뽑을 때, 당신은 그저 성적표만 봅니다. "수학 시험 95%" 같은 점수를 보고 "완벽해! 바로 이 녀석이야!"라고 생각하죠. 하지만 **"Argus가 그들 모두를 심판할 수 있을까?(Can Argus Judge Them All?)"**라는 제목의 이 논문은 그 성적표가 일종의 속임수일 수 있다고 주장합니다. 이 논문은 로봇이 시험에서는 만점을 받을지 몰라도, 교실 밖의 무질서하고 예측 불가능한 실제 세상으로 나가는 순간 무너질 수 있음을 시사합니다.

저자들은 이를 **"역량-신뢰성 간극(Capability-Reliability Gap)"**이라고 부릅니다. 이는 마치 체조 선수가 체육관의 부드러운 매트 위에서는 완벽한 뒤공중제비를 선보이지만, 바운스 카스텔라나 바람 부는 무대 위에서는 비틀거리며 넘어지는 것과 같습니다.

새로운 채점 시스템: ARGUS-EVAL

이를 해결하기 위해 연구진은 ARGUS-EVAL이라는 새로운 심사 시스템을 구축했습니다. 단순히 하나의 최종 점수만 보는 대신, 네 가지 측면에서 로봇을 검증합니다:

시험 점수 (역량): 표준 시험에서 얼마나 잘 수행하는가?
일관성 점수: 동일한 유형의 시험을 주되 질문이나 사진을 약간만 바꾸었을 때도 여전히 잘 수행하는가?
"강인함" 점수: 사진을 망가뜨리거나(흐릿하게 만들기) 텍스트에 오타를 넣었을 때(오타 추가), 여전히 문제를 파악하는가, 아니면 고장 나는가?
효율성 점수: 얼마나 빠른가, 그리고 얼마나 많은 배터리(또는 컴퓨터 메모리)를 사용하는가?

경주: 누가 승리했는가?

연구팀은 다섯 가지 유명한 로봇 모델인 CLIP, BLIP, LXMERT, Gemma-3-4B, Qwen-2.5VL-3B-Instruct를 이 새로운 가혹한 테스트에 투입했습니다. 그들은 세 가지 주요 작업으로 테스트했습니다: 이미지와 텍스트의 매칭 찾기(Retrieval), 이미지 묘사하기(Captioning), 그리고 논리 퍼즐 풀기(Reasoning).

결과는 다음과 같았으며, 약간의 반전이 있었습니다:

"우등생" (Qwen):
전통적인 성적표만 본다면, Qwen-2.5VL-3B-Instruct가 압도적인 승자였습니다. 모든 곳에서 가장 높은 점수를 기록했습니다.

이미지 찾기 게임에서, 82.7%의 상위 매치 적중률(R@1)을 기록했습니다.
사진을 묘사할 때, BLEU-4 점수 47.2와 CIDEr 점수 141.6의 문장을 작성했습니다.
논리 퍼즐에서는 CLEVR 테스트에서 97.4%의 정답률을 보였습니다.

이 논문은 만약 정확도가 무엇보다 중요한 작업을 위해 절대적으로 똑똑한 로봇이 필요하다면, Qwen을 선택해야 한다고 제안합니다.

"믿음직한 베테랑" (Gemma):
하지만 여기 함정이 있습니다. "일관성"과 "강인함" 점수를 추가하자 순위가 뒤집혔습니다. Gemma-3-4B가 실제로 전체적으로 가장 신뢰할 수 있는 모델이 되었습니다.

Qwen이 원시 테스트에서는 약간 더 뛰어났지만, Gemma는 더 안정적이었습니다. 테스트가 이상해지거나 사진이 흐릿해져도 Gemma는 그리 당황하지 않았습니다.
실제로 저자들이 새로운 신뢰성 점수들을 모두 합산했을 때, Gemma의 총점은 0.891로 상승한 반면, Qwen의 점수는 0.868로 떨어졌습니다.
이 논문은 상황이 엉망이 되었을 때 무너지지 않을 로봇이 필요하다면 Gemma가 더 나은 선택이라고 제안합니다.

"스피드 레이서" (CLIP):
다음은 CLIP입니다. 퍼즐을 풀거나 화려한 설명을 하는 데는 뛰어나지 않았습니다. 하지만 가장 빠르고 가벼웠습니다.

이미지를 처리하는 데 단 31ms(밀리초)밖에 걸리지 않았습니다.
메모리도 0.9GB만 사용했습니다.
논문은 배터리가 작거나 컴퓨터 성능이 낮은 기기(예: 라즈베리 파이)의 경우, 자원을 독점하지 않는 CLIP이 명백한 승자라고 언급합니다.

핵심 교훈

이 논문의 주요 결론은 단순히 시험 점수가 가장 높은 로봇을 골라서 안 된다는 것입니다.

저자들은 다양한 데이터셋에 걸쳐 이를 면밀히 측정했으며, 테스트 점수가 비슷한 모델이라도 실제 세상에서는 매우 다르게 행동할 수 있다는 것을 발견했습니다. 그들은 "높은 역량이 항상 높은 신뢰성을 의미한다"는 생각에 명시적으로 반박했습니다. 그들은 종이 위에서 가장 좋아 보이는 로봇(Qвwen)이 실제로는 겉보기에는 약간 덜 인상적인 로봇(Gemma)보다 덜 안정적일 수 있음을 보여주었습니다.

또한 그들은 이 로봇들이 다양한 하드웨어에서 어떻게 작동하는지도 측정했습니다. 강력한 서버(NVIDIA A100)에서 CLIP은 31ms였던 반면, Gemma는 138ms, Qwen은 142ms였습니다. 하지만 더 작은 기기에서는 속도와 메모리 사용량의 격차가 더욱 극명해졌는데, CLIP은 가볍고 빠르게 유지된 반면 다른 모델들은 점점 더 무거워졌습니다.

이 논문이 말해주지 않는 것

논문은 자신들이 하지 않은 작업에 대해서도 주의 깊게 밝히고 있습니다. 그들은 가능한 모든 실제 상황을 테스트하지 않았으며, 특정 작업에 맞춰 특별히 훈련된(미세 조정된) 로봇들을 테스트하지 않았습니다. 그들은 오직 로봇들을 "있는 그대로"(제로샷) 테스트했습니다.

또한 모든 종류의 "엉망인" 사진을 테스트한 것이 아니라, 흐릿하거나 노이즈가 섞인 특정 세트만을 테스트했습니다. 따라서, Gemma가 더 신뢰할 수 있고 Qwen이 더 똑똑하다고 제안하긴 하지만, 이것이 존재하는 모든 로봇에 대한 최종 결론이라고 주장하는 것은 아닙니다.

요약

만약 당신이 최고의 답을 얻어야 하고 강력한 컴퓨터를 보유한 시스템을 구축하고 있다면, Qwen이 최선의 선택일 수 있습니다. 하지만 상황이 잘못되었을 때 침착함을 유지하는 로봇이 필요하거나, 속도가 중요한 작은 기기에서 구동해야 한다면, Gemma나 CLIP이 실제로 더 현명한 선택일 수 있습니다.

이 논문은 우리가 단 하나의 숫자, 즉 성적표의 점수만 봐서는 안 된다고 결론짓습니다. 우리는 로봇의 지능, 안정성, 그리고 에너지 사용량이라는 전체 그림을 보아야 합니다. 그래야만 로봇이 실제 세상에 나갈 준비가 되었는지 진정으로 판단할 수 있습니다.

기술 요약: Argus는 그들 모두를 심판할 수 있는가? 도메인 전반에 걸친 VLM 비교

문제 정의
시각-언어 모델(Vision-Language Models, VLMs)은 검색 시스템, 콘텐츠 생성 플랫폼, 의사 결정 지원 워크플로우와 같은 산업 응용 분야에 점점 더 많이 배치되고 있습니다. 현재 모델 선택은 검색, 캡셔닝, 추론과 같은 다운스트림 태스크에서 도출된 벤치마크 순위에 의해 주로 가이드됩니다. 그러나 저자들은 이 접근 방식의 결정적인 한계를 지적합니다. 즉, 유사한 종합 벤치마크 성능을 가진 모델들이 데이터셋과 평가 조건에 따라 실질적으로 다른 동작을 보일 수 있다는 점입니다. 이러한 불일치는 "역량-신뢰성 격차(Capability-Reliability Gap)"를 생성하며, 여기서 벤치마크 역량( $P(M)$ )을 극대화하는 모델이 실제 배포 시나리오에서 반드시 신뢰성( $R(M)$ )을 극대화하는 것은 아닙니다. 전통적인 평가는 이질적인 벤치마크 전반에서의 성능 안정성이나 섭동(perturbation) 하에서의 강건성을 포착하지 못하며, 이는 이론적 순위와 관찰된 모델 안정성 사이의 미스매치를 초래할 수 있습니다.

방법론: ARGUS-EVAL
이 격차를 해결하기 위해, 저자들은 모델의 행동을 4차원 평가 벡터 $A(M) = \{P(M), CDC(M), RR(M), E(M)\}$ 를 통해 특성화하도록 설계된 역량-신뢰성 지향 평가 프레임워크인 ARGUS-EVAL을 소개합니다.

벤치마크 역량 ( $P(M)$ ): 검색, 캡셔닝 및 추론 태스크에 대한 종합적인 성능을 나타냅니다. 이는 COCO, Flickr30k, Visual Genome(검색 및 캡셔닝용)과 CLEVR, VCR(추론용)의 5개 데이터셋으로부터 얻은 정규화된 점수의 평균으로 계산됩니다.
교차 데이터셋 일관성 ($CDC(M)$): 이질적인 벤치마크 간의 성능 안정성을 측정합니다. 이는 서로 다른 데이터셋에 따른 모델 점수 분포의 변동을 정량화하며, 값이 높을수록 성능 변동이 작음을 의미합니다.
강건성 유지 ($RR(M)$): 통제된 이미지 및 텍스트 섭동 하에서의 성능 보존 능력을 측정합니다. 이는 섭동 후의 벤치마크 역량을 깨끗한 상태의 벤치마크 역량으로 나눈 비율로 계산됩니다.
효율성 ( $E(M)$ ): 추론 지연 시간(latency), 메모리 점유율(memory footprint), FLOPs, 처리량(throughput)을 포함한 배포 특성을 포착합니다. 이러한 지표들은 정규화 및 집계되어 다양한 하드웨어 환경에 대한 모델의 적합성을 반영합니다.

이 프레임워크는 다섯 가지 대표적인 VLM인 CLIP, BLIP, LXMERT, Gemma-3-4B, Qwen-2.5VL-3B-Instruct를 평가합니다. 모든 모델은 파인튜닝 없이 공통된 제로샷 프로토콜 하에 공식 사전 학습된 체크포인트를 사용하여 테스트되었습니다.

주요 결과
경험적 평가는 역량 지향 순위와 신뢰성 지향 순위 사이의 유의미한 괴리를 드러냅니다:

역량 우위: Qwen-2.5VL-3B-Instruct는 가장 강력한 종합 벤치마크 역량( $P(M)$ )을 달성했습니다. 이 모델은 검색(COCO에서 R@1 = 82.7%), 캡셔닝(COCO에서 BLEU-4 = 47.2, CIDEr = 141.6), 그리고 추론(CLEVR에서 97.4% 정확도)에서 가장 높은 점수를 기록했습니다.
신뢰성 및 강건성: 신뢰성 지표가 포함되면 순위가 바뀝로집니다. Gemma-3-4B는 Qwen($RR = 0.890 $)에 비해 섭동 하에서 더 우수한 강건성 유지력($ RR = 0.901$)을 보여줍니다. 결과적으로, 일관성과 강건성이 고려되었을 때 Gemma는 Qwen(0.868)을 제치고 가장 높은 전체 ARGUS-EVAL 점수(0.891)를 획득했습니다.
효율성: CLIP은 가장 낮은 지연 시간(NVIDIA A100에서 31ms)과 가장 작은 메모리 점유율(0.9GB)을 기록하여, 생성 능력은 낮음에도 불구하고 자원이 제한된 환경에 매우 적합한 효율성 프로필을 보여주었습니다.
역량-신뢰성 격차: 본 연구는 역량을 극대화하는 모델(Qwen)이 신뢰성을 극대화하는 모델(Gemma)과 일치하지 않음을 확인했습니다. 이는 높은 벤치마크 점수가 다양한 조건에서의 일관된 성능을 보장하지 않는다는 '격차'의 존재를 입증합니다.

의의 및 주장
본 논문은 ARGUS-EVAL가 벤치마크 역량, 교차 데이터셋 일관성, 강건성 유지, 효율성을 공동으로 평가하는 최초의 통합 프레임워크라고 주장합니다. 저자들은 전통적인 벤치마크 순위에만 의존하는 것은 실제 배포 시 모델의 안정성에 대한 통찰을 제한적으로 제공한다고 주장합니다. 지시어 튜닝된 모델(Gemma와 같은)이 벤치마크 점수를 엄격하게 극대화하는 모델보다 역량과 신뢰성 사이의 더 균형 잡힌 트레이드오프를 제공할 수 있음을 입증함으로써, 이 연구는 평가 방법론의 변화를 옹호합니다. 저자들은 ARGUS-EVAL를 책임감 있는 모델 평가를 지원하는 도구로 위치시키며, 실무자들이 배포 전 단일 지표 최적화를 넘어 안정성과 효율성을 포함한 총체적인 관점으로 이동할 것을 권고합니다.

한계점
저자들은 본 프레임워크가 현재 제한된 세트의 대표 데이터셋만을 평가하며, 실제 배포 시나리오의 모든 다양성을 포괄하지는 못한다는 점을 인정합니다. 강건성 분석은 사전에 정의된 섭동에 국한되어 있으며, 효율성 측정은 특정 하드웨어 플랫폼(NVIDIA A100, Jetson Nano, Raspberry Pi 5)에서 수행되었으므로 모든 환경으로 일반화되지 않을 수 있습니다. 또한, 본 평가는 엄격히 제로샷 방식으로 진행되었으며, 파인튜닝 또는 태스크별 적응을 평가하지 않았습니다.

새로운 채점 시스템: ARGUS-EVAL

경주: 누가 승리했는가?

핵심 교훈

이 논문이 말해주지 않는 것

요약

유사한 논문