SceneFunRI: Reasoning the Invisible for Task-Driven Functional Object Localization

Resumo Técnico: SceneFunRI – Raciocinar o Invisível para Localização Funcional de Objetos Orientada a Tarefas

Definição do Problema
Os Modelos Visão-Linguagem (VLMs) atuais lutam com o raciocínio espacial em cenários do mundo real onde os objetos-alvo são totalmente invisíveis. Enquanto os humanos podem inferir as localizações de objetos funcionais ocluídos usando contexto e conhecimento de senso comum, os benchmarks e modelos existentes dependem amplamente de pistas visíveis ou oclusão parcial (por exemplo, sombras ou reflexos). O artigo identifica uma lacuna na avaliação da capacidade de raciocinar sobre objetos "invisíveis" — alvos que estão completamente fora do campo visual e carecem de evidência visual indireta, exigindo inferência exclusivamente a partir de instruções de tarefa, layout da cena e priores de senso comum.

Metodologia
Os autores introduzem o SceneFunRI, um benchmark projetado especificamente para avaliar o "Raciocinar o Invisível" (RI).

• Construção do Conjunto de Dados: Baseado no conjunto de dados SceneFun3D, o benchmark utiliza um pipeline semi-automático para gerar 855 instâncias orientadas a tarefas. O processo envolve:
  1. Seleção de Quadros: Identificação de quadros onde um objeto funcional existe dentro da visão da câmera, mas está totalmente ocluído ($V_o = 0\%$) na imagem 2D.
  2. Geração de Verdade Terrena: Projeção de anotações de nuvem de pontos 3D dos objetos ocultos no plano da imagem 2D para criar caixas delimitadoras de verdade terrena.
  3. Controle de Qualidade: A verificação humana garante que as tarefas tenham pistas contextuais suficientes (por exemplo, a presença de uma cama para inferir a localização de uma mesa de cabeceira) e instruções inequívocas, filtrando os 1.232 candidatos iniciais para 855 instâncias de alta qualidade.
• Métricas de Avaliação: A Interseção sobre União (IoU) padrão é considerada muito rigorosa para alvos invisíveis. Os autores propõem:
  • Precisão de Contenção (CAcc@$\theta$): Mede se a caixa de verdade terrena está contida dentro da região prevista, penalizando previsões excessivamente grandes.
  • Dist: Uma métrica de distância de canto normalizada para avaliar a proximidade de localização mesmo quando as caixas não se sobrepõem.
• Estratégias de Prompting: O estudo analisa três categorias de prompting:
  1. Prompting de Instrução Forte: Instruir explicitamente os modelos a ignorar objetos visíveis e focar em regiões invisíveis ou aplicar regras de senso comum.
  2. Prompting Baseado em Raciocínio: Utilizar Cadeia de Pensamento (CoT) e CoT com Auto-reflexão (CoT-SR) para incentivar a inferência passo a passo.
  3. Processo Espacial de Eliminação (SPoE): Um framework iterativo inspirado na tomada de decisão humana. O modelo particiona progressivamente a imagem em regiões, elimina candidatos de baixa probabilidade e estreita o espaço de busca até que a localização do alvo seja localizada.

Resultados Principais

• Desempenho do Modelo: Mesmo o baseline mais forte, o Gemini 3 Flash, alcança uma CAcc@75 baixa de 15,20 e um Dist de 28,65, ficando significativamente atrás do baseline humano (CAcc@75 de 66,43). Modelos de código aberto (Qwen, InternVL, Gemma) e modelos especializados em raciocínio espacial geralmente performam pior, indicando que os VLMs atuais carecem de capacidades robustas para raciocínio invisível.
• Análise de Prompting:
  • Instruções Fortes: O prompt "Hidden" (ignorando objetos visíveis) produziu melhorias estáveis, sugerindo capacidades de raciocínio latentes. No entanto, adicionar conhecimento explícito de senso comum (prompt "Common") frequentemente degradou o desempenho, destacando uma desconexão entre a compreensão da linguagem e a ancoragem espacial.
  • Raciocínio: CoT e CoT-SR melhoraram o desempenho apenas para modelos maiores (Qwen 3.5 27B/122B) que carecem de raciocínio estruturado automático, enquanto modelos como o Gemini 3 Flash (que geram inerentemente raciocínio estruturado) não viram ganhos ou sofreram leve degradação.
  • SPoE: A estratégia SPoE reduziu efetivamente a métrica Dist à medida que as iterações aumentavam, demonstrando que os modelos são melhores em excluir regiões visíveis de baixa probabilidade do que em inferir diretamente localizações invisíveis. No entanto, os modelos lutaram para determinar um ponto de parada ótimo, frequentemente continuando a eliminar regiões mesmo após o espaço de busca estar suficientemente restrito.
• Descobertas Qualitativas: Os modelos frequentemente identificaram erroneamente objetos com aparências visuais ou associações semânticas semelhantes (por exemplo, confundir um interruptor de energia com uma tomada) e falharam em inferir detalhes finos como a posição de maçanetas de portas ocluídas, mesmo ao identificar a área geral da tarefa.

Significado e Alegações
O artigo alega que o SceneFunRI expõe uma limitação fundamental nos VLMs atuais: a incapacidade de integrar intenção da tarefa, priores de senso comum e ancoragem espacial para raciocinar sob condições de incerteza visual completa.

• Contribuição do Benchmark: Estende a pesquisa de raciocínio espacial de relações visíveis e explícitas para inferências invisíveis e implícitas, fornecendo um campo de testes necessário para agentes corporificados e tomada de decisão no mundo real.
• Insight Metodológico: Os autores argumentam que inferir diretamente regiões ocultas é um desafio substancial. Em vez disso, o artigo sugere que uma abordagem mais viável para os modelos atuais pode ser analisar regiões observáveis para excluir candidatos de baixa probabilidade (como demonstrado pelo SPoE), em vez de tentar a geração direta de localizações invisíveis.
• Direção Futura: Os resultados motivam o desenvolvimento de modelos que possam integrar melhor a busca consciente da incerteza e um acoplamento mais estreito entre intenção semântica e ancoragem espacial, pois os modelos atuais permanecem instáveis ao raciocinar sobre regiões invisíveis.