What Color Is the Text? A Benchmark for Hallucination Induced by Image-Embedded Prompt
Este artigo apresenta o benchmark "Embedded Stroop" e o conjunto de dados "What-Color-Is-the-Text" (WCIT) para demonstrar que os Grandes Modelos de Linguagem Multimodais frequentemente sofrem de "alucinações de Stroop", onde respondem incorretamente com o significado semântico do texto incorporado em uma imagem em vez da cor real desse texto, revelando que a legibilidade semântica pode sobrepor-se à percepção visual de cores.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
No mundo da inteligência artificial, há uma classe crescente de sistemas conhecidos como modelos de linguagem de grande escala multimodais. Estes são as mentes digitais que podem ver imagens e ler texto, e então combinar esses dois sentidos para responder perguntas sobre o mundo. Eles se tornaram notavelmente bons em descrever uma foto ou resolver um quebra-cabeça baseado em uma imagem. No entanto, assim como os humanos, esses sistemas não estão imunes à confusão. Eles podem às vezes ser enganados pelo que veem ou, mais precisamente, pela forma como interpretam o que veem. Um exemplo clássico dessa confusão vem de um famoso teste psicológico chamado efeito Stroop. Neste teste, uma pessoa é apresentada a uma palavra como "VERMELHO" impressa em tinta azul. Se for solicitada a dizer a cor da tinta, o cérebro humano costuma tropeçar porque lê automaticamente a palavra "VERMELHO" antes de conseguir focar na cor azul. O cérebro tem que se esforçar para ignorar o significado da palavra e focar apenas na cor visual. Por anos, cientistas se perguntaram se esses modelos de computador avançados sofrem do mesmo tipo de falha mental quando olham para imagens.
Uma equipe de pesquisadores da Universidade Beihang, na China, decidiu colocar essa questão à prova com um novo experimento projetado especificamente para máquinas. Eles criaram um benchmark chamado "Que Cor é o Texto", que apresenta ao computador uma imagem simples, mas enganosa. Em vez de fazer uma pergunta ao computador em uma caixa de texto separada, eles escreveram a pergunta diretamente na própria imagem. Imagine um quadrado branco com as palavras "Que cor é o texto?" escritas em tinta preta. Dentro dessa mesma imagem, há outra palavra, como "AZUL", mas esta palavra está impressa em tinta vermelha. O computador é solicitado a identificar a cor da tinta usada para a palavra "AZUL". O desafio é que o computador deve ignorar o significado da palavra "AZUL" e relatar que a tinta é, na verdade, vermelha. Essa configuração força a máquina a escolher entre o que o texto diz e o que os olhos veem.
Quando os pesquisadores realizaram este teste em dezesseis modelos diferentes de inteligência artificial, variando de projetos de código aberto a sistemas comerciais poderosos, os resultados foram impressionantes. As máquinas falharam muito mais vezes do que tiveram sucesso. De fato, quando a pergunta estava incorporada diretamente na imagem, os modelos frequentemente ignoravam a cor real da tinta e simplesmente respondiam com a cor nomeada no texto. Por exemplo, se a palavra "VERDE" estivesse escrita em tinta roxa, o modelo diria confiantemente "verde". Isso acontecia mesmo que os modelos conseguissem identificar corretamente a cor se a pergunta fosse feita em uma caixa de texto separada, em vez de estar escrita na imagem. O estudo descobriu que esse tipo específico de erro, onde a máquina se distrai pelo significado das palavras em vez da realidade visual, ocorreu em uma parte significativa das tentativas. Em alguns casos, mais da metade dos erros cometidos pelos modelos foi devido a essa confusão específica, onde eles priorizaram o texto sobre a cor.
Os pesquisadores queriam ter certeza de que isso não era apenas um caso de os modelos serem ruins em nomear cores em geral. Para verificar isso, eles analisaram um grupo de imagens onde os modelos haviam tido sucesso anteriormente ao nomear cores corretamente quando a pergunta era feita separadamente. Mesmo quando os modelos conheciam os nomes das cores, eles ainda caíam na armadilha quando a pergunta estava incorporada na imagem. Isso provou que o problema não era uma falta de vocabulário ou uma simples incapacidade de ver cores, mas um problema mais profundo onde a habilidade da máquina de ler texto sobrepunha sua habilidade de ver detalhes visuais. O estudo também testou o que aconteceria se tornassem o texto mais difícil de ler. Quando eles viraram a imagem de cabeça para baixo ou cobriram partes das palavras com blocos pretos, os modelos cometeram menos erros. Isso sugere que a confusão vem da capacidade da máquina de ler claramente o significado semântico das palavras. Quando o texto é embaralhado ou escondido, a máquina depende mais da cor visual, e seu desempenho melhora.
Apesar dessas descobertas, os pesquisadores observaram que o problema não é facilmente resolvido simplesmente dizendo à máquina para prestar atenção. Eles tentaram dar instruções especiais aos modelos para alertá-los sobre a pegadinha e, embora isso tenha reduzido o número de vezes que os modelos caíam no texto, não os tornou muito melhores em realmente ver a cor correta. Os modelos simplesmente começaram a cometer tipos diferentes de erros. O estudo conclui que os sistemas atuais de inteligência artificial possuem uma fraqueza fundamental: quando a informação visual e o texto conflitam, o texto geralmente vence. Isso sugere que esses modelos não estão verdadeiramente "vendo" o mundo da maneira que os humanos veem, mas estão, em vez disso, fortemente influenciados pelos padrões de linguagem que aprenderam. À medida que esses sistemas são implementados em situações do mundo real, como ler placas de trânsito ou identificar objetos em ambientes complexos, essa tendência de confiar no texto em vez da visão pode levar a decisões não confiáveis. O trabalho serve como um aviso claro de que, para que essas máquinas se tornem verdadeiramente robustas, elas precisam aprender a equilibrar o que leem com o que veem, em vez de deixar um sentido dominar completamente o outro.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.