360{\deg} Image Perception with MLLMs: A Comprehensive Benchmark and a Training-Free Method

Este artigo apresenta o 360Bench, um benchmark abrangente para avaliar a percepção de imagens 360º em Modelos de Linguagem Multimodal (MLLMs), e propõe o Free360, um método sem treinamento baseado em grafos de cena que melhora significativamente o desempenho desses modelos em tarefas de perguntas e respostas sobre imagens panorâmicas.

O essencial

Imagine que você está usando óculos de realidade virtual para olhar para um mundo inteiro ao seu redor, em 360 graus. É como se você estivesse no centro de uma esfera gigante. Agora, imagine tentar ensinar um "robô inteligente" (uma Inteligência Artificial chamada MLLM) a entender esse mundo.

O problema é que esses robôs são treinados para olhar fotos planas, como as que tiramos com celulares. Quando tentamos mostrar a eles uma foto de 360 graus, é como se tentássemos desenhar um mapa-múndi inteiro em um pedaço de papel retangular: as bordas ficam esticadas, os objetos se partem e a geometria fica distorcida. O robô fica confuso e comete erros bobos, como achar que duas lojas estão em ângulo reto quando, na verdade, estão uma de frente para a outra.

Este artigo apresenta uma solução para esse problema, dividida em duas partes principais: um teste de inteligência e um novo método de raciocínio.

1. O Grande Exame: O "360Bench"

Os autores criaram um novo teste chamado 360Bench. Pense nele como um "vestibular" muito difícil para Inteligências Artificiais.

• O que tem nele? 1.532 perguntas sobre fotos de 360 graus de alta qualidade (como se você estivesse andando por uma cidade ou dentro de uma casa).
• O que eles perguntam? Coisas como: "Quantas garrafas de refrigerante tem na máquina?", "Onde fica o hidrante em relação a você?" ou "Qual é a direção para chegar àquela praça?".
• O resultado do teste: Quando colocaram os melhores robôs do mundo para fazer esse teste, eles foram mal. O melhor deles acertou apenas cerca de 46% das perguntas. Humanos, por outro lado, acertaram 86%. Isso mostrou que, embora as IAs sejam inteligentes, elas ainda são "cegas" quando se trata de entender espaços completos e arredondados.

2. A Solução Mágica: O "Free360"

Como os robôs não conseguem entender a foto inteira de uma vez (porque ela está distorcida), os autores criaram um método chamado Free360.

Aqui está a analogia para entender como ele funciona:

Imagine que você precisa explicar para um amigo cego onde estão os móveis em uma sala redonda. Se você apenas descrever a parede inteira, ele não vai entender. Mas, se você:

1. Apontar para um móvel específico (ex: "olhe para a cadeira vermelha").
2. Dar um "zoom" mental nessa cadeira para ver os detalhes (ex: "ela tem um gato em cima").
3. Girar a sala mentalmente para colocar a cadeira bem na frente dos olhos do seu amigo, para ele ver a posição exata.
4. Desenhar um mapa mental (um gráfico) conectando a cadeira, o gato e a porta.

O Free360 faz exatamente isso, mas com a IA:

• Não precisa de aulas extras: Diferente de outros métodos que exigem que a IA estude milhares de horas novas (o que é caro e demorado), o Free360 usa o conhecimento que a IA já tem, apenas mudando como ela olha a foto.
• O "Gráfico da Cena": A IA primeiro identifica os objetos importantes na foto. Depois, ela "recorta" mentalmente essas partes e gira a imagem de 360 graus para colocar esses objetos no centro, como se ela estivesse olhando diretamente para eles.
• Montando o quebra-cabeça: Ela cria uma "lista de conexões" (um gráfico) que diz: "A loja de brinquedos está à direita da loja de roupas, e ambas estão na minha frente".
• A Resposta: Só depois de montar esse mapa mental detalhado, a IA responde à pergunta.

Por que isso é incrível?

• Funciona de verdade: Ao usar esse método, a IA melhorou sua pontuação de 38% para 45%. Não parece muito, mas em testes de IA, esse salto é enorme. Em algumas tarefas específicas de "onde está o objeto em relação a mim", ela melhorou em mais de 22%.
• É rápido: O método é rápido o suficiente para ser usado em tempo real, quase tão rápido quanto um humano pensando.
• É gratuito (em termos de treino): Você não precisa gastar milhões de dólares treinando um novo modelo. Você apenas usa o modelo que já existe e o "ensina" a olhar de um jeito diferente.

Resumo Final

Os autores disseram: "As IAs atuais são como pessoas que só olham fotos planas e ficam tontas com fotos de 360 graus".
Eles criaram um teste difícil para provar isso e, em seguida, inventaram uma "lente de aumento inteligente" (o Free360) que ajuda a IA a girar a imagem, focar nos detalhes e montar um mapa mental antes de responder. Isso faz com que a IA entenda o mundo ao seu redor muito melhor, sem precisar de um curso universitário novo.

É como dar óculos de realidade virtual para a IA, mas em vez de apenas mostrar a imagem, você ensina a IA a pensar sobre a imagem de forma lógica e espacial.

Resumo técnico

1. Problema e Motivação

Os Modelos de Linguagem Multimodal (MLLMs) demonstraram capacidades impressionantes na compreensão de imagens convencionais (planas). No entanto, sua percepção de imagens 360° (omnidirecionais) permanece subexplorada e enfrenta desafios significativos:

• Distorção Geométrica: A projeção de uma esfera para um plano (como em projeções Equatorretangulares - ERP ou Cubemaps - CMP) causa distorções, especialmente nos polos, e fragmentação de objetos que cruzam as bordas da imagem.
• Raciocínio Espacial Complexo: Entender relações espaciais em um espaço esférico contínuo é inerentemente mais difícil do que em imagens planas, exigindo uma compreensão holística do ambiente.
• Limitações Atuais: A maioria dos modelos é treinada para imagens planas e falha ao interpretar cenas 360° sem adaptações específicas. Além disso, o ajuste fino (fine-tuning) para tarefas específicas é computacionalmente caro e pode levar ao esquecimento catastrófico de conhecimentos gerais.

2. Contribuições Principais

O artigo apresenta duas contribuições fundamentais:

A. 360Bench: Um Novo Benchmark Abrangente

Os autores introduzem o 360Bench, um benchmark de Perguntas e Respostas Visuais (VQA) projetado especificamente para imagens 360° de alta resolução (7K).

• Escala e Diversidade: Composto por 1.532 amostras únicas derivadas de 643 imagens, cobrindo cenários internos, externos e aéreos, em diferentes condições de iluminação (dia/noite).
• Anotação Humana: As perguntas e respostas foram cuidadosamente curadas por anotadores humanos que exploraram as cenas em modo de Realidade Virtual (VR), garantindo que as respostas exigissem uma compreensão real do conteúdo, não apenas adivinhação.
• Sete Subtarefas: O benchmark avalia sete capacidades distintas, agrupadas em quatro categorias:
  1. Percepção de Alta Granularidade (FP): Reconhecimento de instâncias (FP-IR) e contagem de instâncias (FP-IC).
  2. Percepção com Distorção de Projeção (PP): Reconhecimento (PP-IR) e contagem (PP-IC) de objetos que sofrem distorção ou fragmentação nas bordas.
  3. Raciocínio Espacial (SR): Relações entre objetos (SR-Os) e entre objetos e o observador (SR-OV).
  4. Indicação de Direção (DG): Planejamento de rotas e interpretação de sinais direcionais.

B. Free360: Um Método Livre de Treinamento

Para superar as limitações dos modelos atuais sem necessidade de re-treinamento, os autores propõem o Free360, um framework baseado em Grafos de Cena (Scene Graphs).

• Abordagem Modular: O processo de raciocínio é decomposto em quatro etapas guiadas por prompts:
  1. Identificação de Entidades: Detecção de objetos relevantes na imagem (usando projeção CMP para melhor detecção).
  2. Extração de Atributos: Recorte (cropping) das regiões das entidades para extrair detalhes finos (texto, padrões) que seriam perdidos na imagem completa.
  3. Detecção de Relações Inter-Entidade: Rotação esférica da imagem para centralizar pares de entidades, facilitando o raciocínio sobre suas posições relativas.
  4. Detecção de Relações Entidade-Visão: Mapeamento das entidades para as seis faces do cubo (visões: frente, trás, esquerda, direita, topo, base) para modelar a relação com o observador.
• Geração de Resposta: O grafo de cena resultante é serializado em texto estruturado e alimentado no MLLM, que gera a resposta final e a análise de raciocínio. O método utiliza uma abordagem híbrida, combinando as vantagens da projeção CMP (para detecção) e ERP (para raciocínio espacial).

3. Metodologia Experimental

• Avaliação: Foram testados 7 MLLMs (incluindo GPT-4o, Gemini, Qwen2.5-VL, LLaVA) e 6 métodos de aprimoramento existentes no 360Bench.
• Comparação: Avaliação comparativa entre formatos de projeção (ERP vs. CMP) e desempenho humano vs. modelo.
• Métricas: Precisão (Accuracy) e tempo de inferência.

4. Resultados Chave

• Desempenho Humano vs. Modelo: Humanos alcançaram 86,3% de precisão, enquanto o melhor modelo (Gemini Pro 2.5) atingiu apenas 46,5%, revelando uma lacuna significativa na percepção 360° dos MLLMs atuais.
• Impacto do Formato de Projeção:
  • CMP (Cubemap): Superior para tarefas de percepção sob distorção (até +14,1% em precisão), pois reduz a distorção geométrica local.
  • ERP (Equatorretangular): Geralmente melhor para tarefas de raciocínio espacial puro, possivelmente devido à preservação da continuidade angular horizontal.
• Eficácia do Free360:
  • O método Free360, baseado no modelo base Qwen2.5-VL-7B, alcançou a maior precisão geral (45,3%), superando o modelo base em +7,3% e superando todos os outros métodos de aprimoramento.
  • Melhorias notáveis foram observadas em tarefas complexas de raciocínio espacial (ex: +22,9% em SR-OV).
  • O método é computacionalmente eficiente, com tempo de inferência de 22,5 segundos, comparável ao tempo de resposta humana (28,9 segundos) e muito mais rápido que métodos de busca por patches (como DC2, que leva minutos).

5. Significado e Conclusão

Este trabalho destaca que os MLLMs atuais possuem limitações fundamentais na compreensão de cenas omnidirecionais, especialmente devido à distorção e à complexidade do raciocínio espacial 3D.

• Importância do Benchmark: O 360Bench estabelece um padrão rigoroso para avaliar a percepção 360°, preenchendo a lacuna de dados de alta resolução com anotações humanas de alta qualidade.
• Viabilidade de Métodos sem Treinamento: O Free360 demonstra que é possível melhorar significativamente a percepção 360° sem custos de treinamento, utilizando operações específicas para o domínio (rotação esférica, mapeamento de visão) e raciocínio estruturado via grafos de cena.
• Futuro: O estudo sugere que a combinação de decomposição modular e representações gráficas é um caminho promissor para aplicações críticas como direção autônoma, robótica assistiva e vigilância, onde a compreensão holística do ambiente é essencial.