No vasto cenário da inteligência artificial, as ferramentas mais poderosas são os grandes modelos de linguagem, frequentemente chamados de transformers. Esses sistemas aprendem ao ler quantidades massivas de texto e ajustar bilhões de números internos, conhecidos como pesos, para fazer melhores previsões sobre o que vem a seguir. Durante anos, os pesquisadores trataram esses números internos como uma caixa preta: eles sabem que os números mudam durante o treinamento, mas têm tido dificuldade em entender exatamente como a natureza do texto sendo lido molda essas mudanças. Uma questão fundamental permanecia sem resposta: a previsibilidade do próprio texto dita o quanto os números internos do modelo crescem ou se deslocam? Se um modelo lê uma história altamente estruturada e previsível versus um amontoado de palavras caótico e aleatório, essa diferença aparece no tamanho dos números dentro da máquina?

Um novo estudo do pesquisador independente Tiexin Ding responde a essa pergunta com um grau surpreendente de precisão. O pesquisador descobriu que o crescimento desses números internos segue um padrão estrito e previsível baseado inteiramente em uma única propriedade do texto: o quão fácil é adivinhar a próxima palavra com base na anterior. Ao analisar um tipo específico de corrupção de texto, o estudo descobriu que, quanto mais previsível o texto, mais os números internos do modelo se expandem de uma forma específica e mensurável. Essa relação mantém-se independentemente da velocidade de aprendizado usada durante o treinamento, sugerindo uma lei fundamental que conecta os dados brutos à estrutura interna da máquina.

A pesquisa começou com uma observação simples sobre a forma dos números dentro de um modelo treinado. Quando os pesquisadores observaram o tamanho desses números através das diferentes camadas do modelo, descobriram que eles seguiam um padrão consistente conhecido como distribuição de Weibull. Esse padrão é definido por dois valores: um fator de forma que permanece notavelmente estável, e um fator de escala que muda conforme o modelo aprende. A forma estável significa que a estrutura interna do modelo permanece consistente, enquanto o fator de escala variável atua como um botão de ajuste que aumenta ou diminui dependendo do treinamento. O estudo focou nesse fator de escala, perguntando o que o impulsiona a crescer.

Para encontrar a resposta, o pesquisador desenhou um experimento controlado usando um conjunto de dados de texto padrão. Em vez de treinar em diferentes livros ou tópicos, o pesquisador manteve o texto o mesmo, mas o embaralhou sistematicamente. Ele pegou uma fração do texto e embaralhou a ordem das palavras, criando um espectro de conjuntos de dados que variava de perfeitamente ordenados a completamente caóticos. Antes de treinar qualquer modelo, o pesquisador mediu uma estatística específica para cada versão do texto: a dificuldade média de adivinhar a próxima palavra dado o contexto da anterior. No texto limpo, a próxima palavra era fácil de prever; no texto embaralhado, era quase impossível.

Os resultados revelaram uma relação matemática clara entre essa previsibilidade e o crescimento dos números internos do modelo. O estudo descobriu que o crescimento do fator de escala não era aleatório, mas seguia uma curva específica baseada na diferença entre a previsibilidade do texto e uma linha de base de aleatoriedade total. Crucialmente, essa relação não foi apenas um palpite; ela foi derivada de dois fatos distintos e medidos de forma independente. Primeiro, descobriu-se que o crescimento dos números era diretamente proporcional à quantidade de estrutura restante no texto. Segundo, a dificuldade de prever a próxima palavra no texto embaralhado seguia um padrão de saturação curvo específico à medida que o texto se tornava mais embaralhado. Quando esses dois fatos foram combinados, eles forçaram o crescimento dos números a seguir uma curva convexa precisa. Isso significa que a forma da curva não foi ajustada aos dados por acaso, mas era uma consequência necessária de como a estrutura do texto e o processo de aprendizado interagem.

O estudo testou essa lei através de diferentes velocidades de aprendizado, que controlam a rapidez com que o modelo atualiza seus números. Quando o pesquisador ajustou para essas velocidades, todas as diferentes execuções de treinamento colapsaram em uma única linha unificada. Esse colapso provou que a relação é uma propriedade fundamental do sistema, não um artefato de uma configuração específica. O pesquisador então realizou um teste rigoroso para ver se a lei poderia prever o futuro. Usando apenas a medição prévia do treinamento da previsibilidade do texto, ele previu o quanto os números internos cresceriam em uma nova versão não vista do texto embaralhado. A previsão foi precisa dentro de uma margem de erro muito pequena, confirmando que as propriedades do texto sozinhas são suficientes para prever o crescimento interno do modelo.

No entanto, o estudo também estabeleceu um limite claro para onde essa lei se aplica. Quando o pesquisador testou o modelo em código de computador, a previsão falhou. O código possui baixa previsibilidade, o que teoricamente deveria levar a um alto crescimento de acordo com a lei, mas os números do modelo cresceram muito menos do que o esperado. O pesquisador identificou que o código depende fortemente de repetição e modelos (templates) em vez do rico mapeamento contextual encontrado na linguagem natural. Isso sugere que, embora a previsibilidade seja um grande motor, um segundo fator — a redundância — também desempenha um papel. A lei funciona perfeitamente para textos onde a próxima palavra depende do contexto, mas falha para textos onde a próxima palavra é previsível simplesmente porque repete um padrão.

Os achados também se mantiveram quando o pesquisador olhou dentro do modelo, nas camadas individuais. A mesma relação entre a previsibilidade do texto e o crescimento dos números apareceu em todas as partes do modelo, embora a força do efeito variasse. As camadas responsáveis pelo processamento do fluxo de informações mostraram a resposta mais forte, enquanto outras partes eram menos sensíveis. Isso permitiu ao pesquisador mapear exatamente onde, na rede, a estrutura do texto estava sendo escrita nos números. Além disso, o estudo testou duas arquiteturas de modelo diferentes e, embora os números específicos tenham mudado, a forma subjacente da relação permaneceu a mesma. Isso indica que a lei é uma característica robusta de como esses modelos aprendem, independentemente do design específico da máquina.

Em última análise, este trabalho fornece uma ferramenta clara e prospectiva para compreender a inteligência artificial. Demonstra que é possível olhar para um conjunto de dados antes mesmo de um modelo ser treinado e prever com precisão como os números internos do modelo irão evoluir. Isso fecha um ciclo de longa data entre os dados e a máquina, mostrando que a estrutura do texto não é apenas um dado de entrada passivo, mas um motor ativo da dinâmica interna do modelo. Embora a lei tenha limites, particularmente com dados altamente repetitivos como o código, ela oferece uma nova maneira poderosa de medir a qualidade e a estrutura dos dados de treinamento, transformando um processo complexo e invisível em algo que pode ser medido, previsto e compreendido com ferramentas simples e concretas.