When Seeing Is Not Enough: Benchmarking Interactive Visual Grounding in LVLMs
Este artigo apresenta um benchmark para o grounding visual interativo em grandes modelos de visão-linguagem (LVLMs), revelando que os modelos atuais apresentam um desempenho significativamente inferior aos baselines humanos, têm dificuldade com a busca proativa de informações quando nenhuma descrição inicial é fornecida e exibem uma má calibração entre confiança e acurácia.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
No mundo da inteligência artificial, existe uma habilidade específica chamada fundamentação visual (visual grounding). É a capacidade de um computador olhar para uma imagem e apontar para o objeto exato de que um humano está falando. Se você diz, "Encontre a bola vermelha", o sistema deve localizar essa bola específica entre muitas outras. Durante anos, cientistas testaram essa habilidade fornecendo ao computador uma descrição perfeita e detalhada e pedindo que ele encontrasse a correspondência. Isso é como entregar a alguém um mapa completo e pedir que encontre um tesouro escondido. O computador tornou-se muito bom nesta tarefa de etapa única, muitas vezes igualando ou superando o desempenho humano quando as instruções são claras e completas.
No entanto, a vida real raramente é tão simples. Quando os humanos conversam entre si, as descrições são frequentemente vagas, incompletas ou até erradas. Não entregamos uns aos outros mapas perfeitos; em vez disso, construímos nosso entendimento juntos. Fazemos perguntas como, "Está à esquerda?" ou "Tem uma alça?" para preencher as partes que faltam. Este artigo explora o que acontece quando pedimos à inteligência artificial para fazer o mesmo: olhar para uma imagem, perceber que não tem informações suficientes e, então, fazer as perguntas certas para encontrá-la. Os pesquisadores queriam ver se esses sistemas de computador inteligentes poderiam lidar com a natureza desordenada e de ida e volta de uma conversa real, ou se falhariam quando as instruções não lhes fossem entregues em uma bandeja de prata.
A equipe estabeleceu um experimento controlado para testar essa habilidade interativa. Eles criaram um jogo com dois papéis: um "Diretor", que conhece o objeto alvo, e um "Combinador" (Matcher), que deve encontrá-lo. Eles usaram quatro mundos visuais diferentes para o jogo: uma coleção de cães, cestas e formas abstratas chamadas tangrans. No jogo, o Combinador vê uma grade de muitos itens possíveis, enquanto o Diretor vê apenas o alvo correto. Os pesquisadores testaram o Combinador sob quatro condições diferentes para ver como ele lidava com a informação. Na primeira condição, o Combinador recebeu uma descrição completa e perfeita e teve que encontrar o objeto sem falar. Na segunda, recebeu uma descrição completa, mas teve permissão para fazer perguntas de acompanhamento para verificar seu trabalho. Na terceira, partiu de uma pista muito vaga, como "é uma cesta", e teve que fazer perguntas para descobrir qual era. Na última condição, a mais difícil, o Combinador não recebeu nenhuma descrição e teve que fazer perguntas de sim ou não do zero para construir uma imagem do alvo em sua mente.
Eles realizaram este jogo com oito modelos diferentes de linguagem e visão de grande escala, que são os tipos mais avançados de inteligência artificial que podem ver e ler. Os resultados foram claros e um tanto surpreendentes. Mesmo quando os modelos recebiam descrições perfeitas, eles tinham dificuldade em igualar o desempenho dos jogadores humanos. Mas a lacuna aumentou muito mais quando a tarefa exigia interação. Quando os modelos tinham que fazer perguntas para encontrar o alvo, seu desempenho caiu significativamente. Eles foram particularmente ruins na tarefa mais difícil, onde tinham que começar sem nenhuma informação e guiar a conversa por conta própria. Embora pudessem fazer perguntas, frequentemente faziam as perguntas erradas ou falhavam em usar as respostas recebidas para restringir suas escolhas de forma eficaz.
O estudo também observou o quão confiantes os modelos estavam em suas respostas. Os pesquisadores descobriram que os modelos eram frequentemente excessivamente confiantes. Eles relatavam um alto nível de certeza de que haviam encontrado o objeto correto, mesmo quando estavam errados. Essa falta de autoconsciência foi mais pronunciada quando os modelos tinham que fazer perguntas para encontrar o alvo. Eles pareciam acreditar que tinham informações suficientes quando não tinham. Curiosamente, os modelos mostraram alguma capacidade de melhorar quando recebiam permissão para fazer perguntas de acompanhamento para refinar uma descrição, mas essa ajuda foi limitada. Eles podiam corrigir um erro se alguém apontasse, mas não eram bons em buscar proativamente a informação necessária para evitar o erro em primeiro lugar.
Para garantir que essas descobertas fossem sólidas, os pesquisadores realizaram vários testes de acompanhamento. Eles verificaram se os resultados mudariam se as descrições fossem escritas por um computador em vez de um humano, se os modelos fossem forçados a pensar mais profundamente antes de responder, ou se jogassem o jogo várias vezes com o mesmo parceiro. Em todos os casos, o padrão permaneceu o mesmo. Os modelos tiveram melhor desempenho com descrições geradas por computador, mas ainda assim tiveram dificuldades com as partes interativas da tarefa. Eles também descobriram que, embora pudessem melhorar ligeiramente no jogo após jogá-lo algumas vezes, nunca alcançaram o desempenho humano. A dificuldade de iniciar uma conversa do zero e construir um entendimento compartilhado continuou sendo um grande obstáculo. Um estudo de acompanhamento testou os modelos em imagens de rostos, mas o jogo principal focou em cães, cestas e tangrans.
Os pesquisadores concluíram que, embora esses sistemas de inteligência artificial sejam excelentes em combinar uma descrição clara com uma imagem, eles ainda não estão prontos para o mundo real da comunicação humana. Eles carecem da capacidade de reconhecer quando lhes falta informação e de fazer as perguntas certas para obtê-la. Também são ruins em julgar o quão seguros devem estar de suas respostas. Isso sugere que, para que robôs ou assistentes de IA realmente trabalhem ao lado de humanos, eles precisam aprender mais do que apenas como ver; eles precisam aprender como conversar, como pedir ajuda e como perceber quando não sabem a resposta. Até que possam fazer isso, permanecerão limitados a tarefas onde as instruções são perfeitas, deixando a natureza complexa e interativa da referência humana como um desafio que ainda não conseguiram resolver.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.