IntentVLM: Open-Vocabulary Intention Recognition through Forward-Inverse Modeling with Video-Language Models

1. Definição do Problema

O artigo aborda o desafio do reconhecimento de intenção humana com vocabulário aberto na interação humano-robô (HRI).

• O Desafio Central: Diferentemente das ações físicas, as intenções são estados mentais latentes não observáveis. Os métodos existentes frequentemente dependem de abordagens de vocabulário fechado (conjuntos predefinidos de rótulos), que falham em capturar a nuance, a diversidade e as motivações compostas dos objetivos humanos em ambientes não restritos.
• Limitações das Abordagens Atuais:
  • Classificação de Conjunto Fechado: Restringe o modelo a um espaço de rótulos fixo, limitando a expressividade.
  • Geração Direta: A geração em uma única passagem por Grandes Modelos de Linguagem (LLMs) ou Modelos de Vídeo-Linguagem (VLMs) frequentemente leva a alucinações e previsões inconsistentes quando solicitada a inferir intenções diretamente a partir de vídeo sem restrições.
  • Percepção Estática: Muitas obras anteriores dependem de imagens estáticas, falhando em capturar a dinâmica temporal e a evolução contextual essenciais para a compreensão da intenção.
• Objetivo: Desenvolver um sistema capaz de inferir descrições de intenções humanas em linguagem natural de forma livre a partir de fluxos de vídeo, sem depender de um vocabulário de ações predefinido, mantendo a robustez e reduzindo alucinações.

2. Metodologia: IntentVLM

Os autores propõem o IntentVLM, um novo framework de vídeo-linguagem em duas etapas inspirado na modelagem direta-inversa na ciência cognitiva. A hipótese central é que o cérebro primeiro simula estados futuros plausíveis (direto) antes de raciocinar retroativamente para inferir a intenção (inverso).

Visão Geral da Arquitetura

O framework utiliza dois Modelos de Vídeo-Linguagem (VLMs) congelados, aumentados com adaptadores LoRA (Adaptação de Baixo Rango) para ajuste fino eficiente em parâmetros. O processo é dividido em duas etapas sequenciais:

Etapa 1: Geração de Candidatos de Objetivo (O Passo "Direto")

• Entrada: Sequência de vídeo observada ($V_O$) e uma consulta textual ($Q_O$).
• Função: Um módulo gerador produz um conjunto diversificado de $K$ candidatos de objetivo plausíveis ($G_t = \{G_1, ..., G_K\}$) que explicam o comportamento observado.
• Mecanismo: Isso atua como um passo de "proposta", simulando resultados ou objetivos potenciais com base no contexto visual. Expande o espaço de busca para incluir possibilidades de vocabulário aberto, em vez de restringir a uma lista fixa.
• Implementação: Um modelo Qwen3-VL (8B parâmetros) é ajustado finamente para gerar esses candidatos.

Etapa 2: Seleção Estruturada (O Passo "Inverso")

• Entrada: O vídeo original, a consulta e o conjunto de candidatos de objetivo gerados na Etapa 1.
• Função: Um módulo de inferência avalia os candidatos e seleciona a única intenção mais plausível.
• Mecanismo: Isso atua como um "especialista" que raciocina sobre os candidatos, classificando-os com base na consistência com evidências visuais e informações contextuais.
• Implementação: Uma instância separada do Qwen3-VL (2B ou 4B parâmetros) é ajustada finamente para realizar a seleção. A saída final é o objetivo com a maior probabilidade posterior, tratado como a intenção inferida.

Estratégia de Treinamento:

• Ajuste Fino Eficiente em Parâmetros (PEFT): Apenas os adaptadores LoRA são treinados, mantendo os pesos do VLM base congelados para preservar o conhecimento geral do mundo e prevenir o esquecimento catastrófico.
• Função de Perda: A perda de entropia cruzada é computada entre os tokens gerados e os rótulos de verdade fundamental (candidatos para a Etapa 1, intenção verdadeira para a Etapa 2).

3. Principais Contribuições

1. Framework de Vocabulário Aberto: Avança além da classificação de conjunto fechado para um paradigma de geração-seleção, permitindo que o modelo reconheça intenções não presentes em um vocabulário de treinamento predefinido.
2. Design em Duas Etapas Inspirado na Cognição: Decompõe explicitamente o reconhecimento de intenção em proposta (geração de hipóteses) e seleção (verificação de hipóteses). Esta estrutura imita processos cognitivos humanos (modelagem direta-inversa) e reduz significativamente as alucinações em comparação com a geração direta.
3. Desempenho de Estado da Arte: Alcança desempenho no nível humano em benchmarks de reconhecimento de intenção, superando as linhas de base existentes por uma margem significativa.
4. Robustez e Eficiência: Demonstra que o design modular previne o esquecimento catastrófico (preservando a compreensão geral de cenas) e alcança alto desempenho com tamanhos de modelo menores (4B) em comparação com linhas de base maiores.

4. Resultados Experimentais

O modelo foi avaliado em dois benchmarks: IntentQA (reconhecimento de intenção) e Inst-IT Bench (raciocínio em nível de instância).

• Desempenho no IntentQA:
  • Precisão: O IntentVLM alcançou ~80% de precisão no conjunto de teste.
  • Comparação: Isso representa uma melhoria de ~30% sobre as linhas de base existentes (por exemplo, HME, HQGA, VGT) e iguala o desempenho humano (78,49%).
  • Ablação: O modelo de 4B parâmetros superou a versão de 2B. O ajuste fino aumentou significativamente o desempenho em relação às configurações zero-shot.
• Capacidade de Vocabulário Aberto:
  • Em uma configuração de geração livre (sem opções de candidatos fornecidas), a geração direta por VLMs padrão performou mal (<20 pontuação ROUGE).
  • A abordagem em duas etapas do IntentVLM melhorou o desempenho em ~5 pontos em média em configurações de vocabulário aberto, restringindo o espaço de geração através do mecanismo de seleção de candidatos.
• Generalização (Esquecimento Catastrófico):
  • O treinamento no IntentQA não degradou a capacidade do modelo de realizar raciocínio em nível de instância no Inst-IT Bench. O modelo ajustado permaneceu competitivo com suas contrapartes zero-shot.
  • Eficiência: O IntentVLM de 4B parâmetros alcançou desempenho comparável a modelos que excedem 7B parâmetros, destacando uma relação superior entre tamanho e desempenho.

5. Significado e Impacto

• Avanço na Interação Humano-Robô: Ao permitir que robôs compreendam objetivos humanos sutis e abertos (por exemplo, "Fazer café" vs. "Aquecer água para chá") sem scripts pré-programados, o IntentVLM abre caminho para assistentes robóticos mais proativos e socialmente conscientes.
• Ponte entre Ciência Cognitiva e IA: O trabalho traduz com sucesso o conceito teórico de modelagem direta-inversa em uma arquitetura de aprendizado profundo prática e escalável.
• Confiabilidade no Raciocínio: A abordagem de raciocínio estruturado (gerar-selecionar) oferece uma solução para o problema de "alucinação" comum na IA generativa, tornando-a mais adequada para aplicações críticas de segurança, como cuidados ou robótica assistiva.
• Escalabilidade: O uso de adaptadores LoRA permite a adaptação eficiente de grandes modelos fundamentais para tarefas cognitivas específicas, sem o custo computacional do ajuste fino completo.

Em conclusão, o IntentVLM demonstra que decompor o reconhecimento de intenção em um processo cognitivo estruturado em duas etapas permite que modelos de vídeo-linguagem alcancem uma compreensão no nível humano de objetivos humanos complexos e de vocabulário aberto, oferecendo uma base robusta para a próxima geração de sistemas robóticos inteligentes.