How Response Parsing Manufactures Scaling Laws: A Replication and Measurement-Validity Audit of Constraint-Tracking Capacity in LLMs

Imagine um programa de computador que possa ler uma lista de regras e segui-las perfeitamente, não importa o quão longa seja a lista. Este é o objetivo dos modelos de inteligência artificial modernos, especificamente um tipo de sistema chamado modelo de linguagem de grande escala. Esses programas são treinados em vastas quantidades de texto e podem responder perguntas, escrever histórias ou resolver problemas. À medida que esses sistemas crescem, com mais componentes internos e mais dados, eles geralmente tornam-se melhores em tarefas complexas. Cientistas há muito se perguntam se existe um limite rígido para quantas instruções independentes um único modelo pode manter em sua "mente" ao mesmo tempo. Se você der a um modelo dez regras para seguir, ele consegue fazê-lo? E se forem vinte? A capacidade de seguir regras cresce de forma constante à medida que o modelo aumenta, ou ela simplesmente entra em colapso subitamente?

Um estudo recente afirmou ter encontrado uma resposta precisa para esta questão. Sugeriu que, à medida que os modelos crescem, sua habilidade de rastrear múltiplas regras cresce de acordo com um padrão matemático específico, como uma curva previsível. Os pesquisadores propuseram que um modelo pequeno poderia falhar após apenas algumas regras, enquanto um modelo maior poderia lidar com muitas outras, e que essa relação seguia uma lei estrita. Essa ideia era empolgante porque oferecia uma maneira de prever exatamente quão capaz seria uma máquina futura com base no seu tamanho. No entanto, uma nova investigação analisou de perto os números originais e os métodos utilizados para obtê-los, e conta uma história diferente. O novo trabalho conclui que, embora a ideia básica de um limite seja real, a lei específica que descreve como esse limite cresce não é sustentada pelas evidências.

A investigação começou reexaminando os registros de dados originais, que são os registros do que os modelos realmente escreveram em resposta aos testes. Os pesquisadores construíram uma nova forma mais rigorosa de ler essas respostas. No estudo original, o programa de computador usado para avaliar as respostas tinha uma rede de segurança: se não conseguisse encontrar respostas claras o suficiente em uma resposta, ele faria uma nova varredura em todo o texto, procurando pelas palavras "sim" ou "não" em qualquer lugar onde aparecessem. Se encontrasse, contaria como respostas corretas, mesmo que o modelo nunca tivesse pretendido que elas fossem respostas às perguntas específicas. Esta rede de segurança disparou em quase um quarto dos testes. Ela essencialmente preenchia as lacunas para os modelos, dando crédito por palavras que eles escreveram por acidente ou como parte de uma frase, em vez de serem respostas diretas.

Quando os novos pesquisadores removeram essa rede de segurança e forçaram o computador a contar apenas respostas que estivessem claramente e corretamente formatadas, os resultados mudaram. O fenômeno de um limite ainda existia. Um modelo menor realmente teve dificuldades e acabou por falhar ao seguir muitas regras, enquanto um modelo maior da mesma família teve um desempenho muito superior. Isso confirmou que a observação central era real: os modelos têm, de fato, um limite de capacidade, e o tamanho importa. No entanto, a curva específica que descrevia como essa capacidade crescia com o tamanho desapareceu. A afirmação original de que a habilidade de seguir regras dobrava ou triplicava de uma forma previsível à medida que o modelo aumentava era uma ilusão criada pela forma como as respostas eram contadas.

Os pesquisadores então testaram este método corrigido em uma gama muito mais ampla de modelos, incluindo oito famílias diferentes de sistemas disponíveis através de serviços online. Eles descobriram que a lei matemática original não se sustentava. Em um tipo de tarefa, os modelos não mostraram o crescimento previsto; em vez disso, atingiram um teto onde não consegravam lidar com mais do que um certo número de regras, independentemente do seu tamanho. Em outra tarefa, os modelos pareciam seguir todas as regras perfeitamente, mas isso ocorria porque estavam simplesmente repetindo as instruções de volta em um parágrafo longo, em vez de realmente rastrear cada regra individualmente. Em vários casos, os modelos falharam não por falta de inteligência para seguir as regras, mas por não seguirem o formato estrito exigido para obter uma nota de aprovação. Eles escreveram ensaios longos e ponderados quando o teste exigia uma lista simples, e o sistema de pontuação contou isso como uma falha total.

A investigação também analisou a teoria usada para explicar por que os modelos se comportavam daquela maneira. O estudo original sugeriu que o limite era determinado por uma característica arquitetônica específica dos modelos, um número calculado a partir de sua estrutura interna. A nova auditoria descobriu que os dois modelos usados para provar essa teoria tinham exatamente o mesmo valor para essa característica, mas apresentavam desempenhos muito diferentes. Isso significava que a teoria não podia, de fato, explicar a diferença entre eles. A explicação proposta era ampla demais para ser útil; permitia qualquer resultado, portanto, não podia prever o resultado específico observado.

A conclusão final é que a habilidade dessas máquinas de rastrear múltiplas restrições é algo real e mensurável, mas a lei matemática precisa que se alegava descrevê-la ainda não é sustentada. O achado original foi uma mistura de uma descoberta genuína e um erro de medição. O erro veio de uma escolha comum e invisível na forma como o computador lia as respostas, uma escolha que acidentalmente preenchia dados ausentes e criava um padrão falso. Os pesquisadores enfatizam que isso não significa que os modelos sejam perfeitos ou que compreendamos totalmente seus limites. Significa apenas que a afirmação específica sobre uma lei de escala previsível foi construída sobre bases frágeis. Para avançar, estudos futuros devem usar regras mais rigorosas para a leitura de respostas, contar cada resposta ausente como uma falha e testar muito mais modelos antes de declarar uma lei universal. O caminho para compreender estas máquinas é claro, mas exige olhar para os dados sem as redes de segurança que podem esconder a verdade.