No mundo da inteligência artificial, os grandes modelos de linguagem são frequentemente tratados como ferramentas universais: você faz uma pergunta e eles fornecem uma resposta. Durante anos, pesquisadores souberam que a maneira como você faz essa pergunta, as palavras específicas, a formatação ou o estilo do prompt, pode alterar drasticamente o resultado. Um prompt que faz um modelo parecer brilhante pode fazer outro parecer tolo, e até mesmo mudanças pequenas e sem sentido no texto podem alterar as classificações de qual modelo é o "melhor". Esse fenômeno, conhecido como interação prompt-modelo, foi bem documentado em tarefas como resolver problemas matemáticos ou escrever código. No entanto, um mistério persistente permanecia: essa sensibilidade pertence à complexa maquinaria que o modelo usa para realizar tarefas ou é uma propriedade fundamental de como o próprio modelo processa informações? Para responder a isso, os cientistas precisavam observar o modelo quando ele não estava tentando fazer nada de fato. Eles precisavam observar a máquina em um estado de existência pura, livre de tarefas, desprovida de instruções, objetivos ou da pressão para estar correto.

Uma equipe de pesquisadores independentes partiu para investigar isso removendo a tarefa inteiramente. Em vez de pedir que um modelo resolvesse um problema, eles o alimentaram com uma sequência curta de texto e observaram o que acontecia quando o modelo era forçado a prever a próxima palavra, e depois a palavra seguinte, em um loop contínuo. Como o modelo não estava amostrando aleatoriamente, mas seguindo uma regra estrita e determinística para escolher a próxima palavra mais provável, o processo era como uma bola rolando ladeira abaixo até se estabelecer em um vale. Em alguns casos, a bola rolaria para um único vale estável e permaneceria lá para sempre; em outros, poderia ficar presa em um loop ou vagar sem rumo. Os pesquisadores mediram a frequência com que as previsões do modelo se estabilizavam nesse estado estável, uma métrica que chamaram de fração de ponto fixo. Eles então testaram como esse comportamento mudava quando adicionavam um prefixo curto de texto, apenas nove palavras ou tokens, antes do início da sequência. O objetivo era simples: ver se um pouco de texto extra poderia alterar fundamentalmente a trajetória interna do modelo, mesmo quando o modelo não estava tentando alcançar nada.

Os resultados foram impressionantes e desafiaram as próprias expectativas dos pesquisadores. Eles descobriram que a interação entre o prompt e o modelo atingia essa leitura livre de tarefas com força total. Adicionar apenas nove tokens de texto de condicionamento foi suficiente para mover essa leitura medida através de quase toda a sua gama possível. Para alguns modelos, essa pequena adição transformou um padrão de previsão caótico e errante em um perfeitamente estável. Para outros, fez exatamente o oposto, destruindo um padrão anteriormente estável e lançando as previsões em um loop. O efeito foi tão poderoso que pôde mudar a classificação estrutural do comportamento de um modelo inteiramente. Para colocar isso em perspectiva, os pesquisadores compararam esse deslocamento com o impacto do ajuste de instrução (instruction tuning), um processo de treinamento massivo que normalmente aumenta o desempenho de um modelo em benchmarks padrão em mais de sessenta pontos. Embora esse treinamento pesado tenha movido o desempenho da tarefa do modelo significativamente, ele deixou essa leitura estrutural específica completamente inalterada. Em contraste, um mero prefixo de nove palavras pôde inverter essa leitura de um extremo ao outro. Isso provou que a interação prompt-modelo não é apenas uma peculiaridade de como os modelos seguem instruções; é um fato estrutural profundo sobre como o modelo lê um fragmento de texto.

Os pesquisadores tentaram então explicar por que isso aconteceu, propondo cinco fatorações específicas (explicações candidatas) que pareciam plausíveis. Eles se perguntaram se o comprimento do texto adicionado era a causa, ou se o conteúdo, fosse prosa comum ou código formatado, era o motor. Eles também consideraram se o efeito era universal, significando que sempre empurrava os modelos na mesma direção, ou se era um traço específico de certos tipos de modelos, como aqueles treinados para seguir instruções. Eles testaram essas ideias rigorosamente, começando com pequenos grupos de modelos e depois ampliando sua amostra para incluir arquiteturas e tipos de texto mais diversos. Cada uma dessas cinco fatorações falhou sob a ampliação da amostra. O efeito não era simplesmente sobre o comprimento do texto; de fato, a relação não era suave ou previsível, com alguns modelos reagindo violentamente a uma única palavra extra enquanto outros a ignoravam. O conteúdo do texto também falhou em explicar o padrão; o que funcionava para um modelo frequentemente falhava para outro, e a direção da mudança invertia dependendo do emparelhamento específico de texto e modelo. Até mesmo a ideia de que modelos treinados por instrução resistiriam a essas mudanças provou-se falsa quando testaram uma variedade mais ampla de textos.

O que restou após todas essas explicações se dissolverem foi uma realidade simples e obstinada: o efeito pertencia ao par específico de prompt e modelo, não a nenhum deles individualmente. Um único prefixo fixo de nove palavras podia levar quatro modelos diferentes a um estado de total estabilidade enquanto empurrava outros dois modelos para o caos total. O mesmo texto que fazia as previsões de um modelo travarem no lugar causava o colapso de outro. Esse comportamento sobreviveu mesmo quando os pesquisadores usaram textos comuns no mundo real, provando que não era apenas um artefato do uso de palavras estranhas ou aleatórias. Os pesquisadores também observaram a mecânica interna dos modelos, especificamente quanto de atenção o modelo dedicava ao primeiríssimo token da sequência. Uma teoria popular sugeria que os tokens iniciais atuam como um "sumidouro" (sink), absorvendo o foco do modelo e ditando o resultado. No entanto, quando mediram isso, a teoria falhou em prever a direção da mudança. Em alguns modelos, o sumidouro de atenção aumentou e a estabilidade subiu; em outros, o sumidouro de atenção aumentou, mas a estabilidade despencou. A explicação mecânica manteve-se verdadeira para textos do mundo real, mas quebrou completamente para os inputs aleatórios usados em sua sonda, sugerindo que os pesquisadores estavam operando fora do regime onde essa teoria mecânica se aplica.

O estudo conclui que a unidade de explicação para este fenômeno é o par prompt-modelo em si. Não existe uma regra única sobre o comprimento do texto, o conteúdo ou o tipo de modelo que possa prever como um modelo específico reagirá a um prompt específico. Os pesquisadores descobriram que suas próprias tentativas de encontrar uma regra universal eram frequentemente atrapalhadas por um erro sutil: aplicar um critério rígido a uma quantidade que não tinha margem para variar. Por exemplo, eles inicialmente pensaram ter encontrado uma direção universal onde todos os modelos se moviam da mesma forma, apenas para perceber que sua pequena amostra havia ocultado as exceções. Ao ampliar sua amostra e recusar-se a aceitar padrões que não pudessem falhar, eles garantiram que suas descobertas fossem honestas. A imagem final é de uma especificidade profunda. A maneira como um modelo lê um fragmento de texto não é uma propriedade genérica do modelo, nem é uma propriedade genérica do texto. É uma interação única que emerge apenas quando aquele texto específico encontra aquele modelo específico. Os pesquisadores convidam a comunidade científica a continuar testando isso, e a questão permanece em aberto até que um novo fator consiga sobreviver à mesma ampliação rigorosa da amostra. Por enquanto, a resposta permanece que a interação é um evento específico do par, resistente à categorização simples.