Context-Dependent Affordance Computation in Vision-Language Models

본 논문은 대규모 계산을 통해 비전 - 언어 모델 (VLM) 이 다양한 에이전트 페르소나와 상황적 프라임에 따라 물체의 affordance(행동 가능성) 를 계산할 때 어휘적 및 의미적 수준에서 현저한 편차를 보이며, 이는 고정된 세계 모델링이 아닌 동적이고 질의에 의존적인 온톨로지 투영 (JIT Ontology) 이 로봇 공학 연구에 필요함을 시사한다고 주장합니다.

핵심

이 논문은 **"로봇이나 AI 가 세상을 볼 때, 우리가 생각하는 것보다 훨씬 더 '상황'에 따라 다르게 본다"**는 놀라운 사실을 밝혀낸 연구입니다.

기존의 컴퓨터 비전 (이미지 인식 기술) 은 "먼저 사물의 모양과 위치를 정확히 파악한 뒤, 그다음에 그 사물이 무엇을 할 수 있는지 생각한다"고 믿어왔습니다. 마치 건축가가 먼저 건물의 구조를 완벽하게 그린 뒤, "아, 이 방은 거실로 쓰자"라고 생각하듯 말이죠.

하지만 이 논문은 **"아니요, AI 는 먼저 '누가 보고 있는지 (상황)'를 파악한 뒤, 그 상황에 맞춰 사물의 모양과 의미를 재구성한다"**고 주장합니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 핵심 비유: 같은 '부엌', 다른 '세상'

상상해 보세요. 여러분 앞에 부엌이 있습니다. 식탁, 칼, 냄비, 냉장고가 놓여 있죠.

• 요리사 (Chef) 가 이 부엌을 보면:

  • 식탁은 "요리할 공간"으로 보입니다.
  • 칼은 "재료를 자르는 도구"로 보입니다.
  • 냉장고는 "재료를 보관하는 곳"으로 보입니다.
  • 결과: 이 부엌은 **'요리하는 공간'**입니다.

• 치안 요원 (Security) 이 같은 부엌을 보면:

  • 식탁은 "은신처가 될 수 있는 공간"으로 보입니다.
  • 칼은 "위협이 되는 무기"로 보입니다.
  • 냉장고는 "숨겨진 물건을 감출 수 있는 곳"으로 보입니다.
  • 결과: 이 부엌은 **'잠재적 위험이 있는 공간'**입니다.

• 휠체어 사용자 (Mobility) 가 보면:

  • 식탁은 "통행로를 막는 장애물"로 보입니다.
  • 칼은 "관심 밖의 사물"로 보입니다.
  • 결과: 이 부엌은 **'이동하기 어려운 공간'**입니다.

이 논문의 놀라운 발견은 이렇습니다: AI 가 이 부엌 사진을 볼 때, 요리사 모드와 치안 요원 모드에서 보는 '부엌'의 모습이 90% 이상 완전히 달라진다는 것입니다.

단순히 설명하는 말만 바뀌는 게 아니라, AI 가 인식하는 사물의 기능과 의미 자체가 완전히 바뀐 것입니다. 마치 요리사가 볼 때엔 '칼'이 보이지만, 치안 요원이 볼 땐 '무기'가 보일 정도로 인식의 세계가 달라진다는 뜻입니다.

2. 기존 생각 vs 새로운 발견

• 기존 생각 (고정된 지도):

  • AI 는 먼저 "저건 식탁, 저건 칼"이라고 고정된 지도를 그립니다. 그다음에 "아, 요리사라면 이걸로 요리를 하겠구나"라고 덧붙입니다.
  • 비유: 같은 지도를 들고 가는데, 여행자가 누구냐에 따라 '맛집'이나 '위험 지역'을 마킹하는 정도만 다릅니다.

• 이 논문의 발견 (생각의 변신):

  • AI 는 "누가 보느냐"에 따라 지도 자체를 처음부터 다시 그립니다.
  • 비유: 요리사가 보기에 부엌은 '요리실'이지만, 치안 요원이 보기에 그 부엌은 '작전 지휘소'가 됩니다. 지도의 기초 구조부터 달라지는 것입니다.

3. 연구는 어떻게 진행되었나요?

연구진은 AI 에게 같은 사진 500 장을 보여주고, 7 가지 다른 '역할극'을 시켰습니다.

• "평범한 관찰자", "요리사", "치안 요원", "4 세 아이", "휠체어 사용자", "긴급 구조대원", "휴식 취하는 사람" 등.

그리고 AI 가 각 역할에서 어떤 사물을 보고, 무엇을 할 수 있다고 생각했는지 비교했습니다.

결과:

• 90% 이상의 내용이 역할에 따라 완전히 달랐습니다. (예: 요리사에게는 '냄비'가 중요하지만, 아이에게는 '장난감'이 더 중요하게 인식됨)
• 이는 AI 가 단순히 우연히 다른 말을 한 것이 아니라, 상황에 따라 세상을 해석하는 방식이 근본적으로 다르기 때문임을 증명했습니다.

4. 이 발견이 왜 중요할까요? (로봇에게 주는 교훈)

이 연구는 로봇 공학자들에게 큰 충격을 줍니다.

• 기존 방식: 로봇이 세상을 이해하려면 "세상의 모든 사물과 그 기능을 미리 완벽하게 외워야 한다"는 고정된 '세계 모델'을 만들려고 노력해 왔습니다.
• 새로운 제안 (JIT Ontology): 하지만 이 논문은 **"세상은 고정된 것이 아니라, 로봇이 '지금 무엇을 하려고 하는지'에 따라 실시간으로 변한다"**고 말합니다.
  • 마치 주문형 (Just-In-Time) 요리처럼, 로봇이 "지금 요리할 거야"라고 말하면 그 순간에 필요한 사물들의 의미만 쏙쏙 뽑아내어 세상을 이해해야 한다는 것입니다.
  • 미리 모든 것을 다 외워두는 건 비효율적이고, 오히려 중요한 것을 놓칠 수 있습니다.

5. 요약: 한 마디로 정리하면?

"AI 는 카메라처럼 객관적인 사진을 찍는 게 아니라, '누가 보고 무엇을 하려는가'에 따라 세상을 실시간으로 재창조하는 예술가입니다."

이 논문의 결론은, 앞으로의 AI 와 로봇은 고정된 규칙보다는 상황에 맞춰 유연하게 변하는 생각을 해야 더 똑똑하고 인간처럼 행동할 수 있다는 것입니다.

기술 요약

논문 요약: Vision-Language Models 의 맥락 의존적 affordance 계산 (Context-Dependent Affordance Computation)

이 논문은 비전 - 언어 모델 (VLM) 이 시각적 장면을 해석할 때, 에이전트의 목표와 맥락에 따라 affordance(행동 가능성) 를 계산하는 방식이 어떻게 극적으로 변화하는지를 규명합니다. 저자는 기존의 컴퓨터 비전 파이프라인이 기하학적 특징 추출을 먼저 수행한 후 의미를 부여하는 방식이 아니라, 의미 (기능) 가 먼저 기하학적 구조를 결정하는 '의미 우선 (Semantic-First)' 아키텍처를 따를 가능성을 제시합니다.

---

1. 연구 문제 (Problem)

기존 컴퓨터 비전 시스템은 다음과 같은 선형 파이프라인을 가정합니다:
이미지 (I) → 기하학적 특징 (F) → 객체 인식 (O) → 맥락 (C) → affordance (A)
즉, 공간은 중립적인 컨테이너로 간주되며, 의미론적 해석은 기하학적 분석 이후에 이루어집니다.

하지만 생태심리학 (Gibson), 현상학, 인지 신경과학은 행동 가능성 (affordance) 이 기하학적 구조보다 먼저 인식되거나, 적어도 에이전트의 목표에 따라 공간 인식이 재구성됨을 시사합니다. 이 연구는 다음과 같은 핵심 질문을 던집니다:

"VLM 이 생태심리학이나 현상학이 제안하는 '의미 우선 (Semantic-First)' 아키텍처를 따르는가? 즉, 에이전트의 맥락 (목표) 이 affordance 계산에 선행하여 기하학적 표현을 구조화하는가?"

2. 방법론 (Methodology)

• 데이터셋: COCO-2017 검증 세트에서 다중 객체 상호작용이 가능한 500 장의 이미지를 선정했습니다.
• 모델: 고성능 VLM 인 Qwen-VL 30B를 주 실험 모델로 사용했으며, LLaVA-1.5-13B를 사용하여 결과의 일반성을 검증했습니다.
• 실험 설계 (Context Primes): 각 이미지에 대해 7 가지의 서로 다른 '에이전트 페르소나 (Persona)'를 부여하여 맥락을 프라임 (Prime) 했습니다.
  • P0: 중립 (객관적 분석)
  • P1: 요리사 (요리/음식 준비)
  • P2: 보안 전문가 (취약점/방어)
  • P3: 4 세 어린이 (놀이/탐구)
  • P4: 휠체어 사용자 (이동/장애물)
  • P5: 긴급 상황 (생존 도구)
  • P6: 여가 (휴식/즐거움)
• 데이터 규모: 총 3,213 개의 (이미지, 맥락) 쌍을 생성하여 분석했습니다.
• 분석 기법:
  • Jaccard 유사도: 단어 수준과 객체 수준에서 맥락 간 affordance 설명의 유사성을 측정.
  • Tucker 분해: affordance 텍스트 임베딩을 텐서로 변환하여 잠재적 기능적 구조 (Latent Factors) 를 추출.
  • 확률적 베이스라인: 다양한 온도 (Temperature) 와 시드 (Seed) 를 사용하여 생성 노이즈와 실제 맥락 효과를 구분.

3. 주요 결과 (Key Results)

1) 거대한 affordance 드리프트 (Massive Affordance Drift)

• 단어 수준 (Lexical): 서로 다른 맥락 조건 간의 Jaccard 유사도 평균은 0.095였습니다. 이는 **90.5%**의 affordance 설명이 맥락에 의존적임을 의미합니다. (p < 0.0001)
• 객체 수준 (Object-level): 모델이 주목하는 객체 자체도 맥락에 따라 88% 이상 달라졌습니다.
• 의미 수준 (Semantic): 문장 수준의 코사인 유사도는 평균 0.415 였으며, 이는 **58.5%**의 의미론적 드리프트가 있음을 보여줍니다. (단어 변화가 의미 변화보다 더 큼을 시사)

2) 확률적 노이즈 배제

• 동일한 프롬프트 내에서 무작위 시드/온도 변화에 의한 변동 (Within-prime variance) 보다, 서로 다른 맥락 간 변동 (Cross-prime variance) 이 훨씬 컸습니다.
• 이는 관찰된 90% 의 드리프트가 모델의 생성 불안정성이 아니라 실제 맥락 의존적 계산임을 입증했습니다.

3) 안정된 잠재적 구조 (Stable Latent Structure)

Tucker 분해 분석을 통해 맥락 의존성이 무작위적이지 않고 구조화되어 있음을 발견했습니다:

• Culinary Manifold (요리 다양체): '요리사' 맥락만 독립적으로 높은 로딩을 보이며, 다른 맥락과 직교합니다.
• Access Axis (접근성 축): '어린이' (공간 개방/놀이) 와 '휠체어 사용자' (공간 제약/장애물) 가 반대 극에 위치하며, 공간의 affordance 가 목표에 따라 어떻게 재구성되는지를 보여줍니다.
• General Salience: 모든 맥락에 공통적인 기하학적 특징은 전체 분산의 **0.9%**에 불과했습니다.

4) 교차 모델 검증

Qwen-VL 과 LLaVA 두 가지 서로 다른 아키텍처의 모델에서 동일한 현상이 관찰되어, 이 결과가 특정 모델의 편향이 아닌 VLM 아키텍처의 일반적 특성임을 확인했습니다.

4. 주요 기여 (Key Contributions)

1. 실증적 발견: VLM 이 기하학적 객체 인식이 아닌, 에이전트 목표에 따라 90% 이상의 기능적 장면 온톨로지를 재구성한다는 것을 정량적으로 증명했습니다.
2. 이론적 제안: 기존 '기하학 우선' 파이프라인을 대체할 수 있는 '의미 우선 (Semantic-First)' 처리 아키텍처를 제안합니다. 이는 생물학적 인지 시스템이 왜 유사한 구조를 가질 수 있는지에 대한 통찰을 제공합니다.
3. 로보틱스 방향성 제시 (JIT Ontology): 정적인 세계 모델 (Static World Model) 대신, 쿼리 시점에 작업에 필요한 affordance 구조만 동적으로 투영하는 Just-In-Time (JIT) Ontology 개념을 제안합니다.

5. 의의 및 시사점 (Significance)

• 컴퓨터 비전의 패러다임 전환: 기존 비전 시스템이 '모든 것을 먼저 보고 그 다음에 의미를 부여'하는 방식은 비효율적일 수 있습니다. 90% 이상의 정보가 맥락에 의존한다면, 작업 맥락 (Task Context) 을 입력의 최상위 계층으로 두어 affordance 를 먼저 계산하고, 기하학적 정보는 그 잔여물 (Residual) 로 처리하는 방식이 더 효율적일 수 있습니다.
• 로보틱스 적용: 로봇이 모든 환경을 정밀하게 3D 재구성하여 저장하는 대신, 현재 작업 (예: 요리, 보안, 이동) 에 필요한 affordance 만을 실시간으로 투영 (Projection) 하는 JIT Ontology 접근법이 더 강력하고 적응적인 행동을 가능하게 할 것입니다.
• 인지 과학적 함의: VLM 이 자연어 - 이미지 데이터로 학습되었음에도 불구하고 인간과 유사한 '맥락 의존적 지각'을 보인다는 것은, 지능 시스템이 환경의 기능적 속성을 기하학적 속성보다 우선시하는 것이 계산적으로 유리한 전략임을 시사합니다.

결론

이 연구는 VLM 이 단순히 객체를 인식하는 것을 넘어, 에이전트의 목표에 따라 시각적 세계를 동적으로 재구성함을 보여주었습니다. 이는 고정된 세계 모델을 구축하는 대신, **질문 (Query) 시점에 맞춰 온톨로지를 즉시 생성 (JIT)**하는 새로운 로봇 공학 및 AI 시스템 설계 방향을 제시합니다.