Large Language Models Can Follow Instructions, But Not Many at Once: Phase Transitions in Compositional Constraint Satisfaction
Este artigo introduz o benchmark Constraint Saturation Evaluation (CSE) para demonstrar que, embora os grandes modelos de linguagem consigam seguir restrições individuais com proficiência, sua capacidade de satisfazer múltiplas restrições simultâneas colapsa multiplicativamente além de 5–6 restrições devido à acumulação independente de falhas, afetando particularmente o raciocínio estrutural sobre detalhes lexicais.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Imagine que você esteja tentando assar um bolo, mas em vez de apenas seguir uma receita, recebe uma lista de regras. "Use exatamente 200 gramas de farinha", "Não use açúcar", "O bolo deve ser azul" e "Deve ter formato de estrela". Se você tiver apenas uma regra, é fácil. Se tiver duas ou três, provavelmente consegue dar conta. Mas o que acontece se alguém lhe entregar uma lista de cinquenta regras de uma só vez? Este é o mundo dos Modelos de Linguagem de Grande Escala (LLMs), os programas de computador superinteligentes que escrevem histórias, respondem perguntas e resolvem problemas. Esses modelos são como chefs digitais que leram quase todos os livros de uma biblioteca. Os cientistas já sabem há algum tempo que esses chefs são ótimos em seguir uma única instrução. Mas ninguém tinha certeza do que acontecia quando você pedia que eles fizessem malabarismos com uma dúzia de instruções ao mesmo tempo. O desempenho deles cai um pouco, como um corredor cansado diminuindo o ritmo? Ou desaba subitamente, como uma casa de cartas que colapsa quando você sopra nela? Essa questão é importante porque, à medida que começamos a usar esses chefs de IA para construir ferramentas do mundo real — como sistemas de segurança, documentos jurídicos ou códigos complexos — precisamos saber exatamente quantas regras eles conseguem lidar antes de começarem a cometer erros.
Entra em cena um novo estudo que trata esses modelos de IA como um experimento científico em uma cozinha gigante. Os pesquisadores, liderados por Mariya Vasileva, construíram um campo de testes especial chamado Avaliação de Saturação de Restrições (CSE). Pense nisso como um "teste de estresse" para o cérebro da IA. Eles não pediram apenas que os modelos escrevessem uma história; eles deram a eles um número específico de regras para seguir simultaneamente, variando de apenas uma regra até doze. Essas regras eram rígidas e imutáveis, como "Sua resposta deve ter exatamente 3 parágrafos", "Não é permitido a letra 'e'" ou "Cada frase deve começar com a letra 'A'". Os pesquisadores então observaram para ver quantas vezes a IA conseguia acertar todas as regras ao mesmo tempo.
Os resultados foram surpreendentes e um pouco dramáticos. O estudo descobriu que os modelos de IA não ficam apenas um pouco cansados conforme você adiciona mais regras; eles atingem um ponto de ruptura. Imagine que você está empilhando blocos. Para os primeiros blocos, a torre é estável. Mas, uma vez que você atinge uma certa altura — cerca de 5 ou 6 regras, mesmo para os modelos mais inteligentes — a torre não apenas balança; ela simplesmente desaba. Os pesquisadores descobriram que, embora uma IA possa ainda acertar 40% das regras individuais quando há oito delas, a chance de ela acertar todas as oito de uma vez cai para menos de 6%. É como um músico que consegue tocar uma nota perfeitamente, ou até duas, mas assim que você pede que toque uma sinfonia complexa com doze instrumentos diferentes ao mesmo tempo, ele esquece a melodia inteira.
O estudo também descobriu por que isso acontece. Acontece que as regras não lutam entre si como inimigas em um jogo. Em vez disso, elas agem como uma reação em cadeia. Se a IA errar uma pequena parte da resposta — por exemplo, se esquecer de contar as frases corretamente — então todas as regras que dependem de frases falham ao mesmo tempo. Não é que as regras estejam confundindo umas às outras; é que a "memória de trabalho" da IA fica sobrecarregada. Os pesquisadores descobriram que regras que exigem que a IA acompanhe coisas ao longo do tempo (como contar palavras ou manter um padrão) quebram duas vezes mais rápido do que regras simples (como "não use uma palavra específica").
Talvez a parte mais interessante seja o que os pesquisadores tentaram consertar. Eles perguntaram: "Podemos ajudar a IA fazendo-a planejar com antecedência? Ou permitindo que ela tente novamente?". Eles tentaram dar à IA um "rascunho" para planejar sua resposta, ou deixá-la corrigir seus próprios erros. O resultado? Ajudou um pouco, talvez permitindo que a IA lidasse com uma ou duas regras extras, mas não impediu o colapso. A única solução real, sugere o artigo, é tornar a IA melhor em seguir cada regra individualmente em primeiro lugar. Nenhum planejamento ou tentativa de correção pode consertar o fato de que a matemática de fazer malabarismos com muitas coisas ao mesmo tempo eventualmente leva a uma queda de desempenho.
No fim, este artigo traça uma linha clara na areia. Para os modelos de IA mais inteligentes testados, o limite para o seguimento confiável de múltiplas instruções é de aproximadamente 5 a 6 restrições. Além disso, o sistema torna-se não confiável, não porque a IA seja "burra", mas porque o mero número de coisas que ela tem que manter em sua mente ao mesmo tempo cria um colapso matemático. É um lembrete de que, mesmo os chefs digitais mais avançados, têm um limite para quantas receitas podem seguir ao mesmo tempo e, se quisermos que eles façam mais, precisamos construí-los mais fortes, não apenas dar-lhes mais instruções.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.