Investigating Relational Reasoning in VLMs

No cenário moderno da inteligência artificial, uma nova geração de computadores aprendeu a ver e falar simultaneamente. Esses sistemas, conhecidos como modelos de visão-linguagem, podem olhar para uma fotografia e descrever seu conteúdo, responder perguntas sobre o que veem ou até mesmo resolver quebra-cabeças baseados em uma imagem. Para o observador humano, eles parecem possuir uma compreensão genuína do mundo visual, tal como uma pessoa que pode dar uma olhada em uma cena e instantaneamente compreender como os objetos se relacionam entre si. No entanto, uma questão fundamental permanece sem resposta: será que essas máquinas realmente compreendem as relações espaciais e as conexões entre os objetos, ou são apenas combinadoras de padrões astutas que dependem de truques linguísticos e suposições estatísticas? Essa incerteza é importante porque, se esses sistemas estiverem apenas mimetizando a compreensão por meio de atalhos, eles podem falhar de forma imprevisível ao serem confrontados com situações que não correspondam aos seus dados de treinamento, levando a erros em aplicações críticas.

Uma equipe de pesquisadores partiu para desvendar o funcionamento interno desses modelos, removendo a complexidade do mundo real e substituindo-a por um ambiente sintético controlado. Eles criaram um conjunto de dados personalizado consistindo em milhares de imagens simples, cada uma apresentando um pequeno número de formas geométricas básicas, como círculos, quadrados e triângulos, dispostas em padrões específicos. Essas formas receberam cores e tamanhos distintos e, em alguns casos, setas foram desenhadas para conectá-las explicitamente, enquanto em outros, a conexão era implícita apenas pela sua posição relativa. Os pesquisadores então propuseram uma série de perguntas precisas a um modelo moderno de visão-linguagem, pedindo que identificasse o número de formas, reconhecesse cores específicas ou determinasse a direção de uma seta entre dois objetos. Ao comparar as respostas do modelo com os fatos conhecidos das imagens sintéticas, eles puderam medir exatamente o quão bem a máquina estava performando.

Os resultados revelaram uma divisão nítida entre o que o modelo conseguia fazer facilmente e o que ele tinha dificuldade em entender. Quando questionado sobre perguntas simples de reconhecimento, como contar o número total de formas ou identificar se um quadrado verde estava presente, o modelo apresentou uma precisão quase perfeita, frequentemente excedendo noventa e seis por cento. Parecia ter um domínio firme sobre os elementos tangíveis da imagem. No entanto, assim que as perguntas exigiam que o modelo entendesse relações sem pistas visuais explícitas, seu desempenho caía significamente. Por exemplo, quando questionado sobre quais objetos estavam conectados por uma seta sem que a seta estivesse desenhada, ou para descrever a posição de uma forma em relação a outra baseando-se apenas em seu layout, a precisão do modelo caía para cerca de sessenta por cento ou menos. Curiosamente, quando a consulta fornecia marcadores visuais explícitos, como perguntar a direção de uma seta desenhada, o modelo mantinha uma alta precisão de mais de noventa e dois por cento. Isso sugeriu que a máquina não estava construindo um mapa mental coerente da cena, mas sim dependendo fortemente das palavras específicas usadas na pergunta e dos marcadores visuais explícitos fornecidos.

Para determinar se o modelo estava verdadeiramente "vendo" as relações ou apenas adivinhando com base na linguagem, os pesquisadores conduziram um teste rigoroso alterando as próprias imagens. Eles criaram versões modificadas das imagens originais onde removeram digitalmente um elemento específico, como uma única forma ou uma seta, e então fizeram as mesmas perguntas novamente. Se o modelo estivesse genuinamente raciocinando sobre a evidência visual, remover uma parte fundamental da imagem deveria ter feito sua precisão despencar. Em alguns casos, isso aconteceu exatamente assim; quando o modelo foi solicitado a contar formas ou seguir a direção de uma seta, a remoção do elemento visual relevante fez seu desempenho cair quase vinte e cinco por cento. Isso indicou que, para essas tarefas, o modelo estava de fato olhando para a imagem, mas também estava misturando esses dados visuais com vieses internos que o tornavam frágil quando a cena mudava.

Mais surpreendente ainda, os pesquisadores descobriram que, para outros tipos de perguntas, remover elementos visuais melhorava o desempenho do modelo ou o deixava inalterado. Quando questionados sobre a posição relativa de formas ou a existência de uma conexão sem uma seta, o modelo obteve respostas ligeiramente melhores quando a evidência visual era obscurecida. Esse resultado contraintuitivo, que o artigo nota como "surpreendente" e "diretamente contraditório ao raciocínio visual", sugere fortemente que o modelo não estava usando os dados visuais para resolver esses problemas. Em vez disso, estava confiando em padrões estatísticos que aprendeu de seus dados de treinamento, essencialmente adivinhando a resposta com base em como a pergunta era formulada, em vez do que realmente estava na imagem. A máquina não estava raciocinando sobre o espaço; estava recitando uma resposta provável baseada em pistas linguísticas.

Ao espiar dentro das camadas de processamento do modelo, os pesquisadores rastrearam como a informação fluía da entrada inicial da imagem para a resposta final. Eles descobriram que as camadas iniciais do modelo eram muito boas em detectar detalhes simples, como a presença de uma cor ou forma específica. À medida que a informação avançava para as camadas mais profundas do sistema, o modelo tornava-se melhor em contar e identificar relações grosseiras. No entanto, as camadas mais profundas falhavam em codificar consistentemente as relações complexas e abstratas entre os objetos, como a direção precisa de uma seta ou o arranjo espacial de itens sem marcadores explícitos. O estudo conclui que, embora esses sistemas poderosos possam alcançar pontuações altas em muitas tarefas visuais, sua compreensão é estritamente limitada ao que é explicitamente observável. Eles não exibem uma verdadeira compreensão visual, dependendo, em vez disso, de uma estratégia híbrida que combina a percepção visual genuína com atalhos linguísticos. Essa descoberta destaca uma limitação crítica na inteligência artificial atual, sugerindo que a verdadeira compreensão visual requer mais do que apenas o processamento de pixels e palavras; ela demanda uma forma de raciocínio mais profunda e robusta que esses modelos ainda não alcançaram.