The Visual Iconicity Challenge: Evaluating Vision-Language Models on Sign Language Form-Meaning Mapping

기술적 요약: 시각적 아이콘성 도전

문제 제기
시각-언어 모델 (VLM) 은 점점 더 다중 모달 데이터를 처리할 수 있게 되었지만, 시각적 형태를 의미적 의미에 연결하는 능력은 여전히 인간 중심 신호와의 정렬을 테스트하는 중요한 척도입니다. 수어는 아이콘성(아이콘성) 의 보편성으로 인해 이 문제에 대한 독특한 자연 실험실 역할을 합니다. 아이콘성은 수어의 시각적 형태 (수형, 움직임, 위치) 와 그 의미 사이의 비임의적 유사성을 의미합니다. 이전 연구는 텍스트 전용 모델에서 음의 상징성을 탐구했고, VLM 에서는 정적 이미지 캡셔닝을 연구했지만, VLM 이 수어의 역동적이고 시공간적인 구조를 얼마나 잘 인지하고 이를 개념적 의미에 매핑하는지에 대한 체계적인 평가는 부족합니다. 구체적으로, 모델이 임의적 수어와 아이콘적 수어를 구분할 수 있는지, 시각적 형태만으로 의미를 추론할 수 있는지 (투명성), 그리고 점진적 아이콘성에 대한 인간의 민감도를 모방할 수 있는지는 불분명합니다.

방법론
저자들은 네덜란드 수어 (NGT) 에서 파생된 비디오 기반 벤치마크인 시각적 아이콘성 도전을 소개합니다. 이 데이터셋은 96 개의 고립된 수어 비디오 (64 개의 아이콘적 수어, 32 개의 임의적 수어) 로 구성되며, 실제 음성학적 특징, 아이콘성 유형, 그리고 인간이 평가한 아이콘성 점수 (1~7 척도) 가 수동으로 주석 처리되어 있습니다.

평가 프레임워크는 17 개의 최첨단 VLM(11 개의 오픈소스 모델 및 6 개의 독점 모델 포함) 을 세 가지 보완적 작업을 통해 평가합니다:

1. 음성학적 형태 예측: 모델이 비디오에서 다섯 가지 이산적 음성학적 매개변수 (수형, 위치, 경로 형태, 경로 반복, 손의 우세성) 를 예측하는 다중 클래스 분류 작업입니다.
2. 투명성: 텍스트 사전 지식에 대한 의존을 최소화하면서 시각적 형태만을 기반으로 수어의 어휘적 글로스 (의미) 를 추론해야 하는 오픈셋 및 클로즈드셋 (10 선택) 작업입니다.
3. 점진적 아이콘성 평가: 수어의 형태와 의미 간의 유사 정도를 나타내는 1~7 점 척도를 모델이 할당하는 회귀 작업입니다.

본 연구는 제로샷 및 퓨샷(4 샷) 설정에서 모델을 평가합니다. 인간 기준선은 터키 수어 원어민이자 NGT 비원어민인 청각 장애인 수화자와, 수어에 익숙하지 않은 청각 장애인 참가자들을 사용하여 확립되었습니다. 저자들은 또한 형태 능력이 의미 매핑의 기반이라는 가설을 검증하기 위해 음성학적 예측 정확도와 아이콘성/투명성 성능 간의 상관관계를 분석합니다.

주요 기여

• 벤치마크 구축: VLM 의 수어 아이콘성을 위한 대규모 진단 벤치마크인 시각적 아이콘성 도전의 도입으로, 밀집된 음성학적 주석과 인간 기준선을 포함합니다.
• 인간 기준선: 음성학 및 투명성 작업에 대한 수어에 익숙하지 않은 인간과 청각 장애인 수화자의 성능 데이터 수집으로, 모델 평가를 위한 상한 및 하한을 제공합니다.
• 체계적 평가: 수어 형태 - 의미 매핑에 대한 다양한 VLM 의 제로샷 및 퓨샷 평가를 최초로 대규모로 수행하여 특정 편향과 실패 모드를 드러냈습니다.
• 자원 공개: 재현성을 보장하기 위해 평가 코드, 주석, 인간 기준선을 공개합니다.

결과

• 음성학적 예측: 모델들은 일반적으로 인간의 습득 패턴을 반영하여 위치와 손의 우세성을 수형과 경로 형태보다 예측하기 쉽다고 판단합니다. 대형 모델 (예: Gemini 3.1 Pro, GPT-5.4) 은 moderate 정확도 (최대 약 0.73 평균) 를 달성하지만, 인간 기준선 (약 0.79) 에 비해 여전히 상당한 격차가 존재합니다. 퓨샷 프롬프팅은 주로 소형 모델에서 modest한 향상을 가져옵니다.
• 투명성: 전반적으로 성능이 낮습니다. 오픈셋 식별에서 최상위 모델 (Gemini 3.1 Pro) 은 약 29% 의 정확도만 달성하여, 청각 장애인 수화자 기준선 (약 59%) 에 훨씬 미치지 못합니다. 10 선택 설정에서도 성능은 제한적이어서, 강력한 텍스트 사전 지식 없이 시각적 형태를 어휘적 의미에 연결하는 데 근본적인 어려움이 있음을 시사합니다.
• 아이콘성 평가: 모델들은 인간 아이콘성 평가와 moderate~strong 상관관계를 보입니다 (Gemini 3.1 Pro 의 경우 스피어만 $\rho$ 최대 0.774). 그러나 모델들은 체계적 편향을 보입니다: 인간은 행동 기반 아이콘적 수어를 선호하는 반면, 대부분의 오픈소스 모델은 객체 기반 수어에 대한 역전된 선호도를 보입니다. 클로즈드소스 모델은 이러한 역전이 덜 나타납니다.
• 상관관계: 모델의 음성학적 형태 예측 정확도와 아이콘성 평가 능력 사이에는 강한 양의 상관관계 ($\rho = .769$) 가 있어, 구조화된 신체적 속성에 대한 민감도가 형태 - 의미 매핑의 전제 조건임을 시사합니다.
• 추론 영향: Qwen3-VL-32B 에서 "생각 모드"(연쇄 사고) 를 활성화하면 규모 보정 ($\kappa_w$) 이 크게 개선되어 오픈 모델의 성능을 클로즈드 모델 수준에 더 가깝게 만들었습니다.

의의 및 주장
본 논문은 시각적 아이콘성 도전이 시각적으로 기반을 둔 구조를 탐구하기 위한 진단 작업을 VLM 에 대해 성공적으로 검증했다고 주장합니다. 연구 결과에 따르면, 현재 VLM 은 아이콘적 수어와 임의적 수어를 구분할 수 있고 인간 음성학적 어려움 패턴과 정렬되지만, 시각적 형태만으로 어휘적 의미를 추론하지 못하며, 인간이 행동 기반 수어를 선호하는 것과 반대로 정적이고 객체 기반 편향을 보입니다.

저자들은 명시적 추론 (생각 모드) 이 오픈 모델과 클로즈드 모델 간의 보정 격차를 좁힐 수 있다고 결론지었습니다. 그들은 모델 성능과 인간 중심 신호 간의 격차를 해소하려면 정적 시각적 특징에만 의존하기보다 제스처/수어 데이터에 대한 더 풍부한 사전 학습과 더 나은 역동적 포즈 인코딩이 필요하다고 주장합니다. 본 연구는 이러한 진단 작업을 복잡하고 시간적으로 확장된 시공간 언어에서 현재 다중 모달 기반의 한계를 이해하는 데 필수적인 것으로 위치시킵니다.