Would you still call this Dax? Novel Visual References in VLMs and Humans

핵심

당신이 로봇에게 완전히 새로운 물건에 대한 새로운 단어를 가르치고 있다고 상상해 보세요. 당신은 로봇에게 기묘하게 빛나는 생명체의 사진을 보여주며 말합니다. "이것은 **닥스(Dax)**야." 그러고 나서 당신은 로봇에게 조금씩 형태가 변하는 닥스의 사진들을 보여주기 시작합니다. 하나는 흐릿하고, 하나는 뒤집혀 있고, 하나는 색깔이 다르고, 하나는 팔이 하나 더 달려 있습니다.

이 논문이 묻고자 하는 질문은 이것입니다: 로봇은 어느 시점에 "저건 더 이상 닥스가 아니야"라고 말하게 될까요? 그리고 더 중요한 것은, 로봇이 인간과 똑같은 판단을 내리는가 하는 점입니다.

연구진이 발견한 내용을 다음과 같이 간단히 정리했습니다.

1. "닥스" 테스트 (설정)

연구진은 NVRD(Novel Visual References Dataset)라는 거대한 데이터셋을 만들었습니다. 이것을 90개의 독특하고 만들어진 물체들이 모여 있는 거대한 미술관이라고 생각하세요.

• 어떤 물체들은 실제 사물(의자)처럼 보이지만, 이름은 가짜 이름(예: "블로위치")으로 주어졌습니다.
• 어떤 것들은 혼종입니다(멧돼지 머리를 가진 토스터기 같은 것).
• 어떤 것들은 현실 세계에 존재하지 않는 완전히 외계적인 것들입니다.

각 물체에 대해, 형태가 점점 더 "나빠지거나" 왜곡되는 20가지 버전을 만들었습니다. 그들은 다섯 가지 서로 다른 AI 모델(로봇)과 2,400명의 인간을 대상으로, 물체가 변했을 때 그들이 어떻게 반응하는지 테스트했습니다.

2. "기존 지식"의 문제

첫 번째 큰 발견은 AI가 이미 무언가를 알고 있을 때 어려움을 겪는다는 것입니다.

• 인간의 비유: 만약 당신이 사람에게 진짜 강아지 사진을 보여주며 "닥스"라고 부른다면, 사람은 아마도 "아니, 저건 강아지예요"라고 말할 것입니다. 그들은 강아지에게 특정한 이름이 있다는 강한 기억을 가지고 있기 때문입니다.
• AI의 결과: AI 모델들도 이와 비슷하게 행동했습니다. 물체가 익숙한 것(예: 의자)일 때, AI는 새로운 이름인 "닥스"를 배우기를 거부하고 계속 "의자"라고 불렀습니다. 하지만 물체가 완전히 새롭고 기이할 때는, AI는 기꺼이 새로운 이름을 받아들였습니다.

3. "형태 vs 질감" 편향

그다음 연구진은 물체를 뒤틀기 시작했습니다. 색을 바꾸거나, 노이즈를 추가하거나, 물체의 형태를 완전히 바꿨습니다.

• 인간의 비유: 인간은 조각가와 같습니다. 만약 당신이 닥스의 찰흙 조각상을 가져다가 얼굴을 뭉개거나 팔을 부러뜨린다면, 우리는 "저건 더 이상 같은 닥스가 아니야!"라고 말합니다. 우리는 형태에 매우 깊은 관심을 가집니다. 만약 단순히 파란색으로 칠하거나 그림처럼 보이게 만든다면, 우리는 여전히 "그래, 저건 여전히 닥스야"라고 말할 것입니다.
• AI의 결과: AI 모델들도 인간과 일치했습니다! 그들 역시 형태에 가장 큰 관심을 두었습니다. 형태가 변하면 AI는 더 이상 그것을 닥스라고 부르지 않았습니다. 색상이나 질감만 변했다면, AI는 괜찮다고 판단했습니다.

4. "지나치게 관대한" 로봇

이것이 가장 결정적인 발견입니다. AI와 인간은 무엇이 중요한지에 대해서는 동의했지만, 얼마나 많은 변화가 '너무 많은 것'인지에 대해서는 서로 달랐습니다.

• 인간의 비유: 인간은 엄격합니다. 만약 당신이 닥스의 목을 기린처럼 길게 늘린다면, 우리는 "아니, 저건 닥스가 아니야"라고 말합니다.
• AI의 결과: AI 모델들은 지나치게 관대했습니다. 형태가 늘어나거나, 변형되거나, 부품이 추가되었음에도 불구하고 AI는 계속해서 그 물체를 "닥스"라고 불렀습니다. AI는 인간보다 훨씬 더 넓은 범위의 기이함을 수용할 용의가 있었습니다.

비유: 인간과 로봇이 두 사진이 같은 동물인지 맞히는 게임을 하고 있다고 상상해 보세요.

• 인간: "저건 고양이야. 그리고 저건... 꼬리가 아주 긴 고양이야. 여전히 고양이지. 하지만 저건? 저건 머리가 개 모양인 고양이야. 아니, 저건 고양이가 아니야."
• 로봇: "저건 고양이야. 저건 꼬리가 긴 고양이야. 저건 머리가 개 모양인 고양이야. 저건 나무가 자라나고 있는 고양이야. 네, 저건 여전히 고양이입니다."

5. 이것이 왜 중요한가 (논문에 따르면)

논문은 AI가 새로운 것을 즉석에서 배우는 능력이 향상되고는 있지만, 인간이 가진 것과 같은 "상식적인" 경계선을 가지고 있지는 않다고 결론짓습니다.

만약 인간과 AI가 실세계에서 새로운 물체에 대해 소통하려고 한다면, 인간은 "저건 너무 망가져서 같은 물체라고 볼 수 없어"라고 생각하는 반면, AI는 "아니요, 이건 여전히 같은 물체입니다"라고 주장할 수 있습니다. 이러한 불일치는 미래에 그들이 효과적으로 협력하는 것을 어렵게 만들 수 있습니다.

요약하자면: AI는 새로운 단어를 배울 수 있지만, 특히 물체가 원래와 매우 다르게 생겼을 때 그 단어의 정의를 지나치게 넓게 해석하는 경 tendency(경향)가 있습니다.

기술 요약

문제 정의

인간 학습자와 마찬가지로, 시각-언어 모델(VLM)은 초기 훈련 이후에도 새로운 시각적 개념에 빈번하게 노출됩니다. 그러나 이러한 모델이 새로운 시각적 참조(visual references)를 언어와 매핑하는 메커니즘, 특히 그 참조가 사전 훈련된 기존 지식과 상충할 때의 메커니즘은 아직 충분히 탐구되지 않았습니다. 기존 연구들은 익숙한 개념의 시각적 증강(augmentations)을 조사해 왔으나, "진정으로 새로운" 개념(무에서부터 구축된 개방형 자극)에 대한 벤치마크는 부족한 실정입니다. 저자들은 다음과 같은 질문을 던집니다: 모델은 노출된 후 새로운 자극을 어떻게 범주화하는가? 모델은 가상의 이름(nonce names)에 새로운 자극을 얼마나 잘 매핑하는가? 모델은 동일한 인스턴스를 넘어 어떻게 일반화하며, 이러한 행동은 인간 학습자와 어떻게 비교되는가?

방법론

이러한 질문을 해결하기 위해, 저자들은 **새로운 시각적 참조 데이터셋(Novel Visual References Dataset, NVRD)**을 도입하고 VLM과 인간의 판단을 비교 평가를 수행합니다.

1. 새로운 시각적 참조 데이터셋 (NVRD)

• 구성: 이 데이터셋은 90개의 시각적 개념에 걸친 19,176개의 이미지를 포함합니다. 이 개념들은 세 가지 유형으로 분류됩니다:
  • 기존 엔티티(Known entities): 기존 지식과 상충할 때의 매핑을 테스트하기 위해 가상의 이름을 부여한 익숙한 사물(예: 램프).
  • 복합 엔티티(Composed entities): 기존 사물의 하이브리드(예: 형상-형상 또는 형상-질감 조합).
  • 완전한 신규 엔티티(Fully novel entities): 현실 세계의 물체와 닮지 않았거나 존재하지 않는 사물.
• 섭동(Perturbations): 각 베이스 이미지는 11개 축에 걸쳐 최대 20단계의 통제된 시각적 섭동을 거칩니다. 여기에는 다음이 포함됩니다:
  • 저수준 편집: 가우시안 노이즈, 스케일링, 픽셀화, JPEG 압축 및 색상 변화.
  • 고수준 편집: 질감 변화, 배경 변화, 예술적 스타일 저하, 형태 변형, 부분 추가 및 부분 제거.
• 생성: 이미지는 Gemini-3 Pro Image와 Gemini-2.5 Flash를 사용하여 생성되었으며, 2단계 자동 품질 관리 파이프라인과 수동 검증을 거쳤습니다.

2. 실험 설정
본 연구는 인컨텍스트 학습(ICL) 환경에서 세 가지 프롬프팅 패러다임을 사용하여 세 가지 오픈 소스 모델(Qwen-2 VL 7B, Idefics-3 8B, Molmo-2 8B)과 두 가지 폐쇄형 소스 모델(GPT-4o Mini, Gemini-2.5 Flash)을 평가합니다:

• 이름 생성(Name Generation): 모델에게 가상의 단어가 붙은 베이스 이미지와 빈칸이 있는 캡션이 포함된 섭동 이미지를 보여주어, 모델이 해당 가상 단어를 생성하는지 확인합니다.
• 토큰 확률(Token Probabilities): 모델에 대해 가상 단어(nonce word)에 할당된 로그 확률을 일반적인(vanilla, 익숙한) 레이블과 비교하여 쿼리함으로써, 진정한 습득과 최신성 효과(recency effects)를 측정합니다.
• 이중 이미지 리커트 척도 평가(Dual-Image Likert-Scale Rating): 모델(및 인간)에게 가상의 단어가 라벨링된 베이스 이미지와 섭동 이미지를 보여준 뒤, 두 이미지가 동일한 레이블을 공유하는지에 대한 동의 정도를 (1~7 척도로) 평가하게 합니다.

3. 인간 연구
기준점(baseline)을 설정하기 위해, 저자들은 Prolific을 통해 30명의 영어 원어민으로부터 2,400개의 판단 데이터를 수집했습니다. 참가자들은 NVRD의 일부를 대상으로 고수준 섭동에 집중하여 동일한 이중 이미지 리커트 척도 과업을 수행했습니다.

주요 결과

• 습득 대 사전 지식(Acquisition vs. Prior Knowledge): 모델은 인컨텍스트에서 새로운 시각적 참조를 습득할 수 있지만, 새로운 자극이 기존의 개념적 지식과 상충할 때(예: 기존 사물에 새로운 이름을 부여할 때) 이 능력은 크게 감소합니다. 이는 학습자가 기존 이름이 있는 사물에 새로운 레이블을 적용하는 것을 거부하는 인간의 단어 학습에서 관찰되는 "상호 배제(mutual exclusivity)" 편향과 유사합니다.
• 섭동에 대한 민감도: 모델은 인간과 유사하게 **형상 편향(shape bias)**을 보입니다. 모델은 구조적 섭동(형태 변형, 부분 추가/제거)에 가장 민감하며, 이러한 왜곡이 증가함에 따라 동의도가 급격히 하락합니다. 반면, 저수준 편집(색상 변화, 노이즈, 스케일링)은 모델의 판단에 미미한 영향을 미치며, 높은 동의도를 유지합니다.
• 과잉 일반화(Over-generalization): 모델과 인간 모두 섭동 유형에 따른 민감도가 상관관계가 있지만(둘 다 구조적 변화를 질감이나 색상보다 정체성을 더 위협하는 것으로 간 순위 매김), 모델은 현저하게 과잉 일반화합니다. 모델은 인간이 거부하는 심하게 섭동된 자극에 대해서도 레이블을 확장하는 경향이 있습니다. 예를 들어, 인간은 형태가 변형된 사물에 대해 중간 수준의 섭동에서 "비동의"(점수 <3)라고 평가하는 반면, 모델은 종종 "중립"에서 "동의" 범위(점수 4~6)에 머뭅니다.
• 적대적 발산(Adversarial Divergence): 모델에게 완전히 다른 사물에 동일한 레이블을 부여하도록 요청한 절제 연구(ablation study)에서, 모델은 빈번하게 동의(3 이상의 점수 부여)한 반데, 인간은 일관되게 비동의했습니다. 이는 모델이 특정 맥락에서 인간의 미묘한 민감도와는 구별되는, "모든 것에 동의하는" 더 넓은 패턴을 가질 수 있음을 시사합니다.

기여 및 의의

본 논문은 인간과 기계 모두의 시각적 개념 학습을 연구하기 위한 코퍼스이자 벤치마크로서 NVRD를 기여합니다. 그 의의는 다음과 같습니다:

1. 격차 해소: 익숙한 사물의 시각적 편향(형상 대 질감) 연구를 진정으로 새롭고 개방적인 개념으로 확장합니다.
2. 인간-모델 비교: VLM과 인간이 새로운 개념을 어떻게 일반화하는지에 대한 직접적인 정량적 비교를 제공하며, 모델이 인간과 유사한 민감도 계층을 공유하면서도, 심하게 왜곡된 자극을 거부하는 변별적 엄격함은 부족하다는 점을 밝혀냅니다.
3. 상호작용에 대한 시사점: 이 연구 결과는 신뢰할 수 있는 인간-에이전트 상호작용을 위한 중요한 불일치를 강조합니다. 에이전트가 인간과 달리 새로운 레이블을 과잉 일반화한다면, 진화하는 환경에서 공유된 참조 대상(shared referents)을 유지하는 데 어려움을 겪을 수 있습니다.

저자들은 NVRD가 이러한 인지적 격차를 조사하고, 인간 학습자에게서 관찰되는 근거(grounding)와 민감도를 갖춘 시각-언어 시스템의 개발을 장려하는 도구 역할을 한다고 결론짓습니다.