Context-Dependent Affordance Computation in Vision-Language Models

Este estudo demonstra que os Modelos Visão-Linguagem exibem uma dependência contextual massiva na computação de affordances, onde tanto o vocabulário quanto o significado semântico variam drasticamente conforme o contexto, sugerindo a necessidade de projeções ontológicas dinâmicas para aplicações em robótica.

O essencial

Imagine que você tem uma câmera superinteligente conectada a um cérebro de computador. A ideia tradicional de como essa câmera funciona é a seguinte: ela primeiro vê a forma, as cores e os objetos (uma cadeira, uma mesa, uma faca), e só depois, se sobrar tempo, pensa sobre o que você pode fazer com eles.

Este artigo, escrito por Murad Farzulla, diz que essa ideia está errada (ou pelo menos, muito incompleta) para os modelos de inteligência artificial modernos.

Aqui está a explicação simples, usando analogias do dia a dia:

1. O Grande Segredo: A "Ótica" Muda Tudo

O estudo descobriu que, para esses modelos de IA, o que você vê depende totalmente de quem você é e do que você quer fazer.

Pense em uma cozinha.

• Se você é um Chef de Cozinha olhando para a cozinha, a IA vê: "Faca (para cortar), Forno (para assar), Tábua (para preparar)".
• Se você é um Segurança olhando para a mesma cozinha, a IA vê: "Faca (como arma potencial), Janela (ponto de fuga), Gás (risco de explosão)".
• Se você é uma criança de 4 anos, a IA vê: "Cadeira (para subir e brincar), Mesa (para desenhar), Geladeira (para esconder-se)".

O artigo mostra que a IA não muda apenas a "descrição" das coisas. Ela muda quase 90% da realidade que ela percebe. A mesma imagem física gera 90% de palavras e ideias diferentes dependendo do "personagem" que está usando os óculos.

2. A Analogia do "Mapa Dinâmico" vs. "Mapa de Papel"

A maioria dos robôs e câmeras hoje funciona como um Mapa de Papel estático: eles desenham o mundo uma vez, com todas as paredes e móveis, e depois tentam encaixar tarefas nesse mapa.

O artigo sugere que a inteligência (tanto a humana quanto a artificial) funciona mais como um GPS de "Just-in-Time" (Sob Demanda).

• Em vez de ter um mapa completo de tudo o que existe, o cérebro (ou a IA) projeta apenas o que é útil agora.
• Se você está com fome, o mundo se transforma em um "supermercado de possibilidades".
• Se você está com pressa, o mundo se transforma em "obstáculos e atalhos".
• O resto do mundo (o que não é útil naquele momento) praticamente desaparece da mente do agente.

3. A Descoberta Principal: "90% de Drift" (Desvio)

Os pesquisadores fizeram um teste enorme com milhares de imagens. Eles pediram para a IA descrever a mesma imagem para 7 personagens diferentes (um chef, um segurança, uma criança, alguém em cadeira de rodas, etc.).

O resultado foi chocante:

• A IA mudou 90% do vocabulário e da descrição funcional da cena apenas mudando o personagem.
• Isso significa que a "geometria" (a forma das coisas) é apenas uma pequena parte da história (menos de 10%). A grande parte da "inteligência" é sobre o que as coisas significam para a tarefa atual.

4. O Que Isso Significa para o Futuro?

O artigo sugere que, para criar robôs melhores, devemos parar de tentar fazer eles "verem" o mundo de forma fixa e neutra.

• A Velha Ideia: "Vejo uma cadeira. É um objeto de madeira com 4 pernas."
• A Nova Ideia (Sugerida pelo Artigo): "Vejo uma cadeira. Para um chef, é uma superfície para preparar comida. Para uma criança, é um brinquedo. Para um idoso, é um apoio."

O autor chama isso de "Ontologia Just-in-Time". Em vez de ter uma biblioteca gigante de "o que é o mundo", o robô deveria montar a "versão do mundo" necessária para a tarefa que ele está fazendo naquele exato segundo.

Resumo em uma Frase

Este artigo prova que a inteligência não é sobre ver o mundo "como ele é", mas sim sobre ver o mundo "como ele é para mim, agora". A realidade que a IA (e talvez nós) percebemos é 90% moldada pelo nosso objetivo, e não apenas pelos nossos olhos.

Resumo técnico

Título: Cálculo de Afordância Dependente de Contexto em Modelos Visão-Linguagem

Autores: Murad Farzulla (Dissensus AI, King's College London)
Data: Janeiro de 2026
Serie de Trabalhos: DAI-2505

---

1. Problema e Motivação

O campo atual da visão computacional opera sob uma premissa implícita de "geometria primeiro": o processamento visual começa com a extração de características geométricas a partir de pixels, segue para o reconhecimento de objetos e, apenas subsequentemente (se é que o faz), computa propriedades funcionais ou semânticas (afordâncias).

O artigo questiona se os Modelos Visão-Linguagem (VLMs) modernos seguem essa arquitetura cartesiana ou se exibem uma arquitetura "Semântica Primeiro", onde a interpretação funcional (o que um objeto permite fazer) precede e estrutura a representação geométrica. O problema central é investigar se a computação de affordances (possibilidades de ação) em VLMs é fundamentalmente dependente do contexto do agente (seus objetivos e estado), em vez de ser uma propriedade estática do ambiente.

2. Metodologia

O estudo foi conduzido como uma análise computacional em larga escala utilizando VLMs como agentes cognitivos proxy.

• Dados:
  • Imagens: 500 imagens do conjunto de validação COCO-2017, selecionadas por terem alto potencial de interação.
  • Amostra Final: 3.213 pares válidos de (Imagem, Contexto) derivados de 479 imagens.
• Modelos:
  • Principal: Qwen-VL-30B-Instruct.
  • Replicação: LLaVA-1.5-13B (para verificar generalização arquitetural).
• Design Experimental (Priming de Contexto):
  • Para cada imagem, o modelo foi instruído a identificar objetos e suas affordances sob 7 personas agênticas distintas (Tabela 1 do artigo):
    1. Neutro: Análise objetiva.
    2. Chef: Foco em preparação de alimentos.
    3. Segurança: Avaliação de vulnerabilidades e ativos táticos.
    4. Criança (4 anos): Foco em brincadeira e exploração.
    5. Mobilidade: Usuário de cadeira de rodas (obstáculos/acesso).
    6. Urgente: Sobrevivência imediata (ferramentas em 30s).
    7. Lazer: Exploração casual sem pressão de tempo.
• Análise de Dados:
  • Similaridade de Jaccard: Calculada a nível de palavras e objetos para medir a sobreposição lexical entre as descrições de affordances geradas sob diferentes contextos.
  • Decomposição de Tucker: Aplicada a tensores de embeddings (usando sentence-transformers) para revelar estruturas latentes funcionais.
  • Controles Estocásticos: 2.384 execuções de inferência variando temperaturas (0.0 a 1.0) e sementes (5 seeds) para distinguir ruído de geração de efeitos reais de contexto.

3. Principais Contribuições

1. Evidência Empírica de "Drift" de Afordância: Demonstração de que mais de 90% da ontologia funcional de uma cena muda dependendo do contexto do agente.
2. Proposta Teórica de Processamento Semântico-Primeiro: Sugestão de que a arquitetura de VLMs (e possivelmente sistemas biológicos) pode operar condicionando a representação geométrica aos objetivos do agente, em vez do contrário.
3. Estrutura Latente Interpretável: Identificação de fatores latentes estáveis (como "Manifold Culinária" e "Eixo de Acesso") que organizam a dependência de contexto.
4. Direção para Robótica (JIT Ontology): Proposta de abandonar modelos de mundo estáticos em favor de uma Ontologia Just-in-Time (JIT), onde representações espaciais são projetadas dinamicamente no momento da consulta com base na tarefa.

4. Resultados Chave

A. Drift Massivo de Afordância (Dependência de Contexto)

• Similaridade de Jaccard (Palavras): A média de similaridade entre as descrições de affordances de diferentes contextos foi de 0,095 (IC 95%: [0,093, 0,096]).
  • Interpretação: Isso indica que 90,5% da descrição léxica da cena é dependente do contexto. Apenas ~9% da informação funcional permanece invariante.
• Similaridade de Jaccard (Objetos): A seleção de objetos também muda, com similaridade média de 0,119, indicando que o agente "vê" objetos diferentes dependendo de sua meta.
• Validação Estatística: O valor de p < 0.0001 rejeita fortemente a hipótese nula de que as descrições são independentes do contexto. O tamanho do efeito (Cohen's d = -7.01) é extremamente grande.

B. Generalização e Robustez

• Replicação Cruzada: O modelo LLaVA-1.5-13B replicou o fenômeno, embora com uma similaridade ligeiramente maior (0,18), confirmando que o drift não é um artefato de um único modelo, mas uma propriedade de arquiteturas VLM treinadas em dados naturalistas.
• Controles Estocásticos: A variância entre diferentes primos de contexto (cross-prime) foi substancialmente maior do que a variância dentro do mesmo primo (within-prime) em todas as temperaturas testadas. Isso confirma que o drift é causado pela mudança de contexto e não por ruído aleatório da geração.

C. Estrutura Latente (Decomposição de Tucker)

A análise revelou três fatores ortogonais estáveis:

1. Dimensão 1 (Salência Geral): Representa <10% da variância (características geométricas básicas invariáveis).
2. Dimensão 2 (Manifold Culinário): Isolado quase exclusivamente para o contexto de "Chef" (carregamento de 0,95). Mostra que affordances culinárias formam uma ontologia funcional distinta e separada.
3. Dimensão 3 (Eixo de Acesso): Captura um gradiente de "Oportunidade Espacial" vs. "Restrição Espacial".
   • Positivo para "Criança" (0,72): Foco em abertura e brincadeira.
   • Negativo para "Mobilidade" (-0,60): Foco em obstrução e acessibilidade.

D. Comparação Semântica vs. Léxica

• Enquanto a similaridade léxica (Jaccard) mostrou 90% de dependência, a similaridade semântica (Cosine em embeddings) mostrou 58,5% de dependência.
• Implicação: O vocabulário superficial muda drasticamente (ex: "tábua de cortar" vs. "projétil potencial"), mas a estrutura semântica subjacente mantém uma invariância parcial (~40%). No entanto, a maior parte da representação funcional ainda é moldada pelo contexto.

5. Significado e Implicações

• Para Visão Computacional: Os resultados desafiam o pipeline padrão de "Geometria -> Semântica". Sugerem que tratar o contexto como uma entrada secundária é ineficiente, pois a maior parte do conteúdo representacional (90%) é determinada pela tarefa.
• Para Robótica e IA Embutida: A proposta de Ontologia Just-in-Time (JIT) sugere que robôs não devem construir modelos de mundo estáticos e completos. Em vez disso, devem projetar representações espaciais dinâmicas no momento da consulta, focando apenas nas affordances relevantes para a tarefa atual. Isso alinha-se com sistemas recentes como VoxPoser e SayCan.
• Para Cognição Biológica: Embora o estudo não afirme provar como o cérebro humano funciona, a convergência entre o comportamento dos VLMs e teorias da psicologia ecológica (Gibson) e fenomenologia sugere que o processamento "semântico primeiro" pode ser uma estratégia computacional vantajosa emergente em sistemas inteligentes.
• Limitações: O estudo usa VLMs como proxy e não analisa a arquitetura interna (camadas de atenção) para provar a ordem causal de processamento. Além disso, os VLMs são treinados em dados textuais/visuais da internet, não em interação física corporal (embodiment).

Conclusão

O artigo estabelece que os VLMs computam affordances de maneira massivamente dependente do contexto. A diferença entre a ontologia geométrica fixa e a ontologia funcional dinâmica é fundamental: mudar o objetivo do agente altera radicalmente a "realidade funcional" da cena percebida pelo modelo. Isso aponta para a necessidade de uma reestruturação arquitetural em sistemas de visão e robótica, priorizando representações dinâmicas e dependentes de tarefas em detrimento de modelos de mundo estáticos.