Video-IFBench: Evaluating Instruction Following of Multimodal LLMs in Video Understanding Scenarios
Este artigo apresenta o Video-IFBench, um benchmark abrangente que apresenta 1,5 mil amostras e uma taxonomia de instruções diversificada para avaliar a capacidade subexplorada dos Grandes Modelos de Linguagem Multimodais em seguir restrições complexas e especificadas pelo usuário em cenários de compreensão de vídeo, revelando que os modelos atuais têm dificuldades significativas com instruções condicionais e de múltiplas restrições.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
No mundo da inteligência artificial, que evolui rapidamente, surgiu uma nova geração de sistemas que podem ver, ouvir e falar. Esses modelos multimodais são treinados em vastas quantidades de texto, imagens e vídeos, permitindo-lhes descrever uma cena, responder perguntas sobre um filme ou resumir um clipe de notícias. Durante anos, os pesquisadores mediram seu sucesso fazendo uma pergunta simples: a resposta está correta? Se um modelo descreve um vídeo de um programa de culinária e acerta os ingredientes, ele recebe uma pontuação alta. No entanto, no mundo real, uma resposta correta muitas vezes não é suficiente. Um usuário pode pedir que um modelo descreva um vídeo, mas insistir em regras específicas: "Diga apenas o que acontece depois que a água ferver", "Liste as etapas em ordem", "Não mencione a cor das panelas" ou "Fale apenas em espanhol". Esses pedidos exigem que o sistema não apenas entenda o conteúdo, mas também siga um conjunto complexo de instruções, filtrando informações que ele sabe serem verdadeiras, mas que foi instruído a ignorar. Até agora, a capacidade desses sistemas avançados de seguir tais restrições detalhadas e humanas em cenários de vídeo permanecia amplamente não testada.
Uma equipe de pesquisadores abordou essa lacuna criando um novo campo de testes chamado Video-IFBench. Este benchmark foi projetado especificamente para verificar se a inteligência artificial de compreensão de vídeo consegue realmente fazer o que lhe é ordenado quando as instruções são complicadas. Os pesquisadores reuniram mais de 700 vídeos de fontes públicas, abrangendo dez domínios diferentes, como esportes, ciência, notícias e vida cotidiana. Esses clipes variam de dez segundos a dez minutos de duração, totalizando cerca de 49 horas de filmagens. A partir dessa coleção, eles construíram 1.500 casos de teste únicos. Cada caso de teste pareia um vídeo com um pedido específico que inclui uma mistura de tarefas e restrições. Alguns pedidos pedem uma única informação, como "Qual é o texto na tela?", enquanto outros exigem múltiplas etapas, como "Liste as ações, mas apenas aquelas que duram mais de dois segundos, e apresente-as como uma lista numerada". Os testes mais difíceis envolvem lógica condicional, onde o modelo deve primeiro assistir ao vídeo para decidir qual caminho tomar. Por exemplo, um comando pode dizer: "Se o vídeo começar com um título sobre consertar um laptop, então descreva as etapas de reparo; caso contrário, descreva as ações da pessoa nos últimos dez segundos". O modelo deve identificar corretamente a condição inicial para escolher o conjunto certo de instruções a seguir.
Para garantir que esses testes fossem justos e precisos, os pesquisadores construíram um sistema semiautomático para gerar as perguntas e as regras para verificar as respostas. Eles usaram inteligência artificial para extrair fatos dos vídeos, como quais objetos estavam presentes e quando eventos específicos ocorreram, e então usaram esses fatos para escrever instruções complexas. Crucialmente, cada instrução vinha acompanhada de um checklist. Alguns itens do checklist podiam ser verificados por um programa de computador, como verificar se a resposta estava escrita em formato JSON ou se continha exatamente cinco tópicos. Outros itens, que exigiam a compreensão do significado da resposta, eram verificados por um modelo de linguagem separado e altamente capaz, atuando como um juiz. Essa abordagem híbrida permitiu aos pesquisadores avaliar se os modelos satisfaziam cada restrição de um pedido, não apenas a tarefa principal.
Os resultados desta avaliação revelaram uma fraqueza significativa mesmo nos modelos de vídeo mais avançados disponíveis hoje. Ao serem testados em todo o benchmark, o melhor modelo desempenhou uma pontuação geral de apenas 54,5 por cento. Isso significa que, em quase metade dos casos, o modelo falhou em seguir o conjunto completo de instruções, mesmo que entendesse o conteúdo do vídeo corretamente. O estudo descobriu que os modelos tiveram mais dificuldade quando as instruções continham muitas restrições simultâneas, ou quando o pedido exigia que o modelo tomasse uma decisão baseada no conteúdo do vídeo antes de responder. Por exemplo, ao serem solicitados a escolher entre diferentes caminhos baseados no que aconteceu no vídeo, os modelos frequentemente escolheram o caminho errado ou ignoraram a condição inteiramente. A dificuldade aumentava à medida que as instruções se tornavam mais complexas; quando um pedido envolvia uma cadeia profunda de lógica "se-então", a taxa de sucesso caía drasticamente.
Os pesquisadores também descobriram que o tipo de restrição importava muito. Os modelos eram relativamente bons em seguir regras de formato, como usar um idioma específico ou limitar a contagem de palavras. No entanto, eles tinham um desempenho ruim em restrições semânticas, que exigiam que entendessem o significado do vídeo para filtrar informações. Por exemplo, um modelo poderia ser solicitado a descrever apenas as ações de uma pessoa específica enquanto ignora todos os outros, ou listar eventos que ocorreram dentro de uma janela de tempo precisa. Nesses casos, os modelos frequentemente incluíam informações que foram instruídos a excluir ou perdiam detalhes que deveriam encontrar. O estudo mostrou que simplesmente tornar os modelos maiores ou dar-lhes mais poder de computação não resolveu o problema. Embora modelos maiores geralmente tivessem um desempenho melhor, eles ainda falhavam em seguir instruções rigorosas de forma consistente, sugerindo que a habilidade de entender o conteúdo do vídeo e a habilidade de seguir regras complexas são duas habilidades diferentes que a tecnologia atual ainda não combinou totalmente.
Este trabalho sugere que, para a inteligência artificial ser verdadeiramente útil em aplicações do mundo real, ela deve aprender a ouvir tão atentamente quanto vê. As descobertas indicam que os sistemas atuais ainda não são confiáveis o suficiente para serem implantados em cenários onde os usuários esperam adesão precisa às suas necessidades específicas. Os pesquisadores esperam que, ao fornecer uma medida clara desta capacidade, o Video-IFBench guie o desenvolvimento futuro em direção a modelos que possam não apenas ver o mundo, mas também seguir as instruções sutis e, muitas vezes, contraditórias das pessoas que os utilizam. O caminho a seguir exige uma mudança de foco de simplesmente obter a resposta certa para obter a resposta certa exatamente da maneira que o usuário pediu.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.