Can Vision-Language Models Assess Proxemic Risk from Egocentric Robot Images?

Imagine que você está ensinando um robô a caminhar por uma cafeteria movimentada. Você não quer apenas que ele veja uma mesa; você quer que ele sinta o espaço ao seu redor. Este é o mundo da proxêmica, uma palavra sofisticada para o estudo de quanto espaço pessoal os seres humanos precisam para se sentirem confortáveis. Pense nisso como bolhas invisíveis: uma bolha apertada para um melhor amigo, uma média para um colega de trabalho e uma larga para um estranho. Se um robô invadir sua bolha apertada sem pedir permissão, é rude e potencialmente perigoso.

Agora, imagine dar a esse robô uma câmera em sua cabeça (uma visão "egocêntrica") para que ele veja o mundo exatamente como nós vemos. A grande questão que os cientistas estão fazendo é: podemos ensinar um robô a olhar para uma foto e saber instantaneamente: "Oh não, estou perto demais dessa pessoa!" ou "Ufa, tenho bastante espaço"? É aqui que entram os Modelos de Visão-Linguagem (VLMs). Estes são programas de IA super inteligentes que podem olhar para uma imagem e falar sobre ela, quase como um robô que consegue ler um livro de figuras e contar a história. Os pesquisadores estão entusiasmados porque, se esses modelos de IA conseguirem entender o espaço pessoal apenas olhando, talvez não precisemos de sensores caros e pesados em cada robô. Poderíamos apenas dar a eles uma câmera e um cérebro.

Mas aqui está a reviravolta: só porque uma IA consegue descrever uma imagem, não significa que ela realmente entenda onde as coisas estão no espaço 3D. Este artigo coloca três "cérebros" de IA diferentes à prova para ver se eles podem atuar como um guarda de segurança para robôs.

O Experimento: A IA consegue detectar o perigo?

Os pesquisadores construíram um conjunto de treinamento especial usando 1.243 fotos tiradas do ponto de vista de um robô em ambientes do mundo real. Eles rotularam cada foto com um "nível de perigo" baseado em quão perto as pessoas estavam do robô:

• Perigo Alto: Alguém está bem na frente do robô (colisão iminente!).
• Perigo Moderado: Alguém está perto, e o robô precisa se mover com cuidado.
• Perigo Baixo: Alguém está por perto, mas o robô só precisa ficar de olho nela.
• Perigo Mínimo: O caminho está livre.

Eles testaram três modelos de IA de código aberto diferentes: InternVL, SmolVLM e Qwen-VL. Eles tentaram ensinar esses modelos de duas maneiras: primeiro, apenas fazendo perguntas em estilos diferentes (como dar um comando simples versus um enigma de raciocínio complexo e passo a passo) e, segundo, dando a eles um pouquinho de treinamento extra (chamado de "ajuste fino" ou fine-tuning) em 200 imagens específicas.

Os Resultados: Um Herói, Dois Fracassados

As descobertas foram uma mistura de "nada mal" e "não bom o suficiente".

1. O Problema do "Chute Aleatório"
Sem nenhum treinamento especial, todos os três modelos tiveram um desempenho quase idêntico ao de um aluno chutando em uma prova de múltipla escolha. A precisão geral deles foi mal melhor do que jogar uma moeda para cima. Mesmo após o treinamento extra, a capacidade geral de classificar corretamente todos os quatro níveis de perigo não melhorou muito. É como se os modelos fossem bons em descrever a cafeteria, mas terríveis em saber a hora de parar de andar.

2. A Exceção Qwen
No entanto, houve um herói de destaque: o Qwen-VL. Enquanto os outros dois modelos (InternVL e SmolVLM) basicamente falharam em detectar as situações mais perigosas (perdendo quase todas elas), o Qwen-VL de fato melhorou na detecção de cenários de "Perigo Alto".

• Crucialmente, essa melhoria veio de uma combinação específica de como as perguntas eram feitas e como o modelo era treinado. Os melhores resultados foram alcançados quando se utilizou um prompt muito específico e complexo que pedia à IA para "pensar passo a passo" junto com uma primeira rodada de ajuste fino. Com essa configuração, o Qwen-VL conseguiu detectar cerca de 79% das situações de alto perigo.
• Os outros modelos, mesmo com os mesmos prompts complexos e treinamento, ainda perderam quase tudo.
• Curiosamente, dar ao Qwen-VL um treinamento adicional (uma segunda rodada de ajuste fino) não ajudou muito mais; o maior impulso veio justamente daquela combinação de prompt de "pensamento avançado" e da rodada inicial de ajuste fino.

3. A Surpresa do "Ponto Cego"
Aqui está a parte mais interessante. Os pesquisadores verificaram se a IA estava realmente olhando para a pessoa para decidir se era perigoso. Eles pediram à IA para desenhar uma caixa ao redor da pessoa de quem ela estava preocupada.

• O Choque: Mesmo quando o Qwen-VL gritava corretamente "PERIGO!", ele frequentemente não desenhava a caixa ao redor da pessoa certa. Às vezes, apontava para o chão, às vezes para uma parede e, às vezes, para a pessoa correta.
• A Conclusão: O artigo sugere que o modelo pode estar adivinhando o nível de perigo com base em um "sentimento" ou um padrão em toda a imagem, em vez de realmente entender a distância específica até a pessoa. É como um aluno que acerta a resposta em uma prova de matemática, mas não consegue mostrar o desenvolvimento ou apontar para os números que usou.

O Que Isso Significa para a Segurança dos Robôs

O artigo conclui que, embora esses modelos de IA estejam ficando mais inteligentes, eles ainda não estão prontos para serem o único guarda de segurança de um robô caminhando através de uma multidão.

• Eles não podem ser confiáveis ainda: Se você depender deles, pode perder uma colisão porque o modelo acha que está seguro quando não está, ou pode entrar em pânico quando está seguro.
• O Prompting e o treinamento específico importam: Dar aos modelos um pouco de treinamento extra ajudou o Qwen-VL apenas ligeiramente por conta própria, mas não corrigiu os outros modelos. Os maiores ganhos vieram de pedir ao modelo para raciocinar cuidadosamente combinado com uma configuração específica de ajuste fino.
• O Perigo "Cego": A maior lição é que obter o rótulo correto (Perigo Alto) não significa que o robô saiba o porquê de ser perigoso. Ele pode estar certo pelos motivos errados.

Em resumo, esses Modelos de Visão-Linguagem são como turistas muito falantes que conseguem descrever uma cena lindamente, mas muitas vezes se perdem quando lhes pedem para navegar por ela. Eles mostram promessa, especialmente o modelo Qwen quando solicitado a pensar cuidadosamente e treinado da maneira certa, mas ainda precisam de muito mais prática antes de podermos deixá-los dirigir um robô por uma rua movimentada sem um humano vigiando suas costas.