IntentVLM: Open-Vocabulary Intention Recognition through Forward-Inverse Modeling with Video-Language Models

다음은 "IntentVLM: 비디오 - 언어 모델을 통한 순방향 - 역방향 모델링으로 열린 어휘 인간 의도 인식" 논문에 대한 상세한 기술 요약입니다.

1. 문제 정의

본 논문은 인간 - 로봇 상호작용 (HRI) 에서의 열린 어휘 인간 의도 인식 과제를 다룹니다.

• 핵심 과제: 물리적 행동과 달리, 의도는 관찰할 수 없는 잠재적 정신 상태입니다. 기존 방법들은 종종 닫힌 어휘 접근법 (미리 정의된 레이블 집합) 에 의존하는데, 이는 제약 없는 환경에서 인간 목표의 뉘앙스, 다양성 및 복합적 동기를 포착하지 못합니다.
• 현재 접근법의 한계:
  • 닫힌 집합 분류: 모델을 고정된 레이블 공간으로 제한하여 표현력을 저하시킵니다.
  • 직접 생성: 제약 없이 비디오에서 직접 의도를 추론하도록 요청할 때, 대규모 언어 모델 (LLM) 이나 비디오 - 언어 모델 (VLM) 의 단일 패스 생성은 종종 환각 (hallucinations) 과 일관성 없는 예측으로 이어집니다.
  • 정적 인식: 많은 이전 연구들은 정적 이미지에 의존하여 의도 이해에 필수적인 시간적 역동성과 맥락적 진화를 포착하지 못합니다.
• 목표: 미리 정의된 행동 어휘에 의존하지 않으면서도 강건성을 유지하고 환각을 줄이면서, 비디오 스트림으로부터 인간의 의도에 대한 자유 형식의 자연어 설명을 추론할 수 있는 시스템을 개발하는 것입니다.

2. 방법론: IntentVLM

저자들은 인지 과학의 순방향 - 역방향 모델링 에서 영감을 받은 새로운 2 단계 비디오 - 언어 프레임워크인 IntentVLM 을 제안합니다. 핵심 가설은 뇌가 의도를 추론하기 (역방향) 전에 먼저 가능한 미래 상태를 시뮬레이션 (순방향) 한다는 것입니다.

아키텍처 개요

이 프레임워크는 파라미터 효율적 미세 조정을 위해 LoRA(저랭크 적응) 어댑터로 확장된 두 개의 고정된 비디오 - 언어 모델 (VLM) 을 활용합니다. 과정은 두 개의 순차적 단계로 나뉩니다:

1 단계: 목표 후보 생성 ("순방향" 단계)

• 입력: 관찰된 비디오 시퀀스 ($V_O$) 및 텍스트 쿼리 ($Q_O$).
• 기능: 생성 모듈이 관찰된 행동을 설명하는 $K$ 개의 다양한 가능한 목표 후보 ($G_t = \{G_1, ..., G_K\}$) 를 생성합니다.
• 메커니즘: 이는 비주얼 컨텍스트에 기반하여 잠재적 결과나 목표를 시뮬레이션하는 "제안" 단계로 작용합니다. 고정된 목록으로 제한하는 대신 열린 어휘 가능성을 포함하도록 검색 공간을 확장합니다.
• 구현: 이러한 후보를 생성하도록 Qwen3-VL 모델 (8B 파라미터) 이 미세 조정됩니다.

2 단계: 구조화된 선택 ("역방향" 단계)

• 입력: 원본 비디오, 쿼리, 1 단계에서 생성된 후보 목표 집합.
• 기능: 추론 모듈이 후보들을 평가하고 가장 그럴듯한 단일 의도를 선택합니다.
• 메커니즘: 이는 후보들에 대해 추론하고 시각적 증거 및 맥락 정보와의 일관성에 기반하여 순위를 매기는 "전문가"로 작용합니다.
• 구현: 선택을 수행하도록 별도의 Qwen3-VL 인스턴스 (2B 또는 4B 파라미터) 가 미세 조정됩니다. 최종 출력은 추론된 의도로 간주되는 가장 높은 사후 확률을 가진 목표입니다.

학습 전략:

• 파라미터 효율적 미세 조정 (PEFT): 기본 VLM 가중치를 고정하여 일반적인 세계 지식을 보존하고 파국적 망각을 방지하면서 LoRA 어댑터만 학습합니다.
• 손실 함수: 생성된 토큰과 실제 레이블 (1 단계의 후보, 2 단계의 실제 의도) 간의 교차 엔트로피 손실이 계산됩니다.

3. 주요 기여

1. 열린 어휘 프레임워크: 닫힌 집합 분류를 넘어 생성 - 선택 패러다임으로 이동하여, 모델이 미리 정의된 학습 어휘에 존재하지 않는 의도도 인식할 수 있게 합니다.
2. 인지 과학에서 영감을 받은 2 단계 설계: 의도 인식을 제안(가설 생성) 과 선택(가설 검증) 으로 명시적으로 분해합니다. 이 구조는 인간의 인지 과정 (순방향 - 역방향 모델링) 을 모방하며, 직접 생성에 비해 환각을 현저히 줄입니다.
3. 최첨단 성능: 의도 인식 벤치마크에서 인간 수준의 성능을 달성하여 기존 베이스라인을 상당한 차이로 능가합니다.
4. 강건성과 효율성: 모듈식 설계가 파국적 망각 (일반적인 장면 이해 보존) 을 방지하고, 더 큰 베이스라인에 비해 더 작은 모델 크기 (4B) 로 높은 성능을 달성함을 입증합니다.

4. 실험 결과

모델은 두 가지 벤치마크인 IntentQA(의도 인식) 및 Inst-IT Bench(인스턴스 수준 추론) 에서 평가되었습니다.

• IntentQA 성능:
  • 정확도: IntentVLM 은 테스트 세트에서 약 80% 정확도를 달성했습니다.
  • 비교: 이는 기존 베이스라인 (예: HME, HQGA, VGT) 대비 약 30% 향상을 나타내며, 인간 성능 (78.49%) 과 일치합니다.
  • 애블레이션: 4B 파라미터 모델이 2B 버전보다 우수한 성능을 보였습니다. 미세 조정은 제로샷 설정 대비 성능을 크게 향상시켰습니다.
• 열린 어휘 능력:
  • 자유 형식 생성 설정 (후보 옵션 제공 없음) 에서 표준 VLM 의 직접 생성은 낮은 성능 (<20 ROUGE 점수) 을 보였습니다.
  • IntentVLM 의 2 단계 접근법은 후보 선택 메커니즘을 통해 생성 공간을 제한함으로써 열린 어휘 설정에서 평균 약 5 점 향상된 성능을 보였습니다.
• 일반화 (파국적 망각):
  • IntentQA 학습은 Inst-IT Bench에서의 인스턴스 수준 추론 능력을 저하시키지 않았습니다. 미세 조정된 모델은 제로샷 대응 모델과 경쟁력 있는 성능을 유지했습니다.
  • 효율성: 4B 파라미터 IntentVLM 은 7B 를 초과하는 모델들과 비교할 만한 성능을 달성하여, 우수한 크기 - 성능 트레이드오프를 강조합니다.

5. 중요성 및 영향

• 인간 - 로봇 상호작용의 발전: 사전 프로그래밍된 스크립트 없이 미묘하고 열린 형태의 인간 목표 (예: "커피 만들기" 대 "차를 위한 물 데우기") 를 이해할 수 있게 함으로써, 보다 능동적이고 사회적 인식을 갖춘 로봇 보조기를 위한 길을 엽니다.
• 인지 과학과 AI 의 연결: 순방향 - 역방향 모델링의 이론적 개념을 실용적이고 확장 가능한 딥러닝 아키텍처로 성공적으로 전환합니다.
• 추론의 신뢰성: 구조화된 추론 접근법 (생성 후 선택) 은 생성형 AI 에 흔히 발생하는 "환각" 문제에 대한 해결책을 제공하여, 요양 또는 보조 로봇과 같은 안전 필수 응용 분야에 더 적합하게 만듭니다.
• 확장성: LoRA 어댑터 사용은 전체 미세 조정의 계산 비용 없이 대규모 기반 모델을 특정 인지 작업에 효율적으로 적응시킬 수 있게 합니다.

결론적으로, IntentVLM 은 의도 인식을 구조화된 2 단계 인지 과정으로 분해함으로써 비디오 - 언어 모델이 복잡하고 열린 어휘의 인간 목표를 인간 수준으로 이해할 수 있음을 보여주며, 차세대 지능형 로봇 시스템을 위한 견고한 기반을 제공합니다.