Rule-Compliant Visual Spatial Planning for Multimodal Large Language Models
Este artigo apresenta o RuleMaze, um benchmark controlável para avaliar o planejamento espacial visual em conformidade com regras em modelos de linguagem grandes multimodais, juntamente com uma estrutura híbrida de geração de regras e um método de Planejamento Multimodal Desemaranhado (DMP) que melhora significativamente a adesão às regras e a generalização ao separar percepção, execução e verificação.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Imagine um mundo onde um computador pode olhar para uma imagem e compreender não apenas o que há nela, mas como se mover através dela. Esta é a promessa dos modelos de linguagem de grande escala multimodais, uma nova geração de inteligência artificial que combina a capacidade de ler e raciocinar com a capacidade de ver. Estes sistemas já aprenderam a descrever imagens, responder perguntas sobre fotos e resolver enigmas visuais. Mas existe uma lacuna no seu conhecimento. Embora consigam navegar por um caminho simples, eles têm dificuldade quando o caminho é bloqueado por um conjunto específico de instruções que mudam de momento para momento. No mundo real, um veículo autónomo ou um robô assistente deve não só encontrar um caminho do ponto A ao ponto B, mas também obedecer a um conjunto de regras em constante mudança, tais como "não vire à esquerda no sinal vermelho" ou "evite o chão molhado". Os modelos atuais falham frequentemente aqui, tratando as regras como sugestões em vez de restrições rígidas, ou esquecendo-as inteiramente enquanto planeiam o seu próximo passo.
Para compreender por que razão isto é tão difícil, os investigadores Yu Chen e a sua equipa na Universidade de Pequim e a Yinwang Intelligent Technology criaram um novo campo de testes chamado RuleMaze. Eles construíram um ambiente digital repleto de labirintos, mas estes não eram apenas puzzles de paredes e espaços abertos. Cada labirinto vinha com um conjunto único de regras de linguagem natural, escritas em inglês simples, que ditavam exatamente como um personagem podia mover-se. Algumas regras eram simples, como "não pode pisar em quadrados cor-de-rosa". Outras eram complexas, exigindo que o personagem se lembrasse de onde tinha estado ou que mudasse o seu comportamento com base na sua localização atual, como "se estiver parado num quadrado cor de laranja, o seu próximo passo deve ser para cima". Os investigadores geraram milhares destes cenários utilizando um método que transformava automaticamente regras escritas por humanos em lógica rigorosa e verificável por máquinas. Isto permitiu-lhes testar se uma inteligência artificial conseguia verdadeiramente compreender e seguir uma regra enquanto navegava num espaço visual, em vez de apenas adivinhar o caminho certo com base em padrões que tinha visto anteriormente.
A equipa descobriu que simplesmente pedir a um modelo poderoso para olhar para o labirinto e escrever uma lista de movimentos não funcionava bem, especialmente quando as regras eram novas ou complicadas. Quando as regras mudavam, os modelos frequentemente esqueciam as instruções ou as violavam sem perceber. Para resolver isto, os investigadores propuseram uma nova forma de pensar chamada Planeamento Multimodal Desvinculado (Disentangled Multimodal Planning). Em vez de forçar o modelo a fazer tudo de uma vez — ver a imagem, pensar sobre as regras e decidir o próximo passo, tudo ao mesmo tempo — eles dividiram a tarefa em três trabalhos distintos e claros. Primeiro, o modelo utiliza uma ferramenta para olhar para o labirinto e identificar onde está e quais os símbolos especiais que estão por perto. Segundo, utiliza uma ferramenta para tentar um movimento e ver como fica a nova imagem. Terceiro, e mais importante, utiliza uma ferramenta dedicada para verificar se o movimento que acabou de fazer segue as regras. Esta ferramenta de verificação atua como um árbitro rigoroso que diz instantaneamente "sim" ou "não" a cada passo, antes de o modelo ser permitido continuar.
Esta abordagem alterou o resultado drasticamente. Nos seus testes, o novo método permitiu que os modelos seguissem as regras com uma taxa de sucesso de 90 por cento em tarefas que nunca tinham visto antes, uma melhoria massiva em relação aos métodos anteriores, que frequentemente falhavam completamente perante novas regras. Os investigadores descobriram que, quando o modelo era forçado a verificar o seu trabalho a cada passo, deixava de cometer os tipos de erros que acontecem quando um sistema tenta planear uma jornada inteira na sua cabeça sem verificar cada etapa. O modelo aprendeu a pausar, olhar para a regra, verificar o movimento e só então prosseguir. Isto funcionou mesmo quando as regras eram difíceis, envolvendo múltiplas condições ou exigindo que o modelo se lembrasse de itens que tinha recolhido ao longo do caminho. O estudo sugere que, para a inteligência artificial ser verdadeiramente fiável em ambientes complexos e regidos por regras, ela não pode ser apenas um adivinhador inteligente; deve estar equipada com um sistema que a force a verificar as suas próprias ações face às restrições do mundo que está a navegar. Ao separar o ato de ver, o ato de mover e o ato de verificar, os investigadores mostraram que as máquinas podem aprender a seguir instruções com um nível de disciplina que antes era inalcançável.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.