Quando fazemos uma pergunta a um modelo de linguagem de grande escala, frequentemente imaginamos uma conversa direta entre um humano e uma máquina. Assumimos que a resposta vem diretamente do cérebro do computador, moldada apenas pelos dados nos quais ele foi treinado e pelas palavras que digitamos. Essa visão trata o modelo como uma biblioteca estática, onde os livros dentro dela são fixos e a única variável é qual livro o bibliotecário retira da prateleira. No entanto, a realidade de como esses sistemas funcionam no mundo real é mais complexa. A tecnologia por trás desses modelos amadureceu ao ponto de o computador poder fazer mais do que apenas recuperar informações; ele pode sutilmente reescrever as probabilidades do que dirá a seguir, mesmo antes de terminar uma única frase. Isso acontece em uma camada oculta de software que se situa entre o conhecimento central do modelo e o texto final que você vê na sua tela. É um espaço onde a saída bruta da máquina pode ser direcionada, ajustada ou guiada sem alterar a memória subjacente da máquina.

Um novo artigo de Augusto Camargo explora as consequências dessa camada oculta, argumentando que estamos olhando para a parte errada do sistema se nos preocuparmos apenas com o próprio modelo. O autor sugere que a influência mais significativa sobre o que uma IA diz pode não estar em seus dados de treinamento ou em seu código interno, mas nas regras invisíveis aplicadas no momento em que ela está prestes a falar. Esta pesquisa desloca o foco de perguntar "O que o modelo sabe?" para "Quem está controlando o que o modelo tem permissão para dizer?". O artigo não afirma que esses sistemas estão sendo usados atualmente para manipular o mundo de uma forma específica e comprovada, mas sim que as ferramentas técnicas para fazê-lo existem, já estão em uso para outros fins e permanecem amplamente invisíveis para as pessoas que os utilizam. É um chamado para reconhecer que a resposta que você recebe não é apenas um reflexo do modelo, mas o produto de um sistema que pode ser ajustado para razões políticas, comerciais ou ideológicas sem que ninguém saiba.

O cerne deste argumento repousa em uma observação simples, mas poderosa: o modelo não é a mesma coisa que o sistema que entrega suas respostas. Em uma configuração padrão, um usuário digita um comando, o modelo gera uma lista de possíveis próximas palavras com diferentes probabilidades e, então, um computador escolhe uma. O artigo aponta que, em aplicações modernas do mundo real, há frequentemente um passo extra no meio. Antes que o computador faça sua escolha final, um software separado pode observar essas probabilidades e ajustá-las. Ele pode tornar certas palavras ligeiramente mais prováveis de aparecer e outras ligeiramente menos prováveis, tudo sem alterar os pesos internos do modelo ou o comando do usuário. Este processo é semelhante a como uma estação de rádio pode aumentar levemente o volume de uma música específica para fazê-la se destacar, embora a música em si não tenha mudado. O artigo formaliza isso como uma "política de inferência", um conjunto de regras que opera no exato último momento da geração.

O autor demonstra que essa capacidade não é teórica; é uma tecnologia já comprovada e usada para outras coisas. Por exemplo, empresas usam métodos semelhantes para incorporar marcas d'água invisíveis em textos para provar que foram escritos por uma IA, ou para direcionar um modelo para longe de linguagem tóxica. O artigo argumenta que a mesma maquinaria técnica usada para adicionar marcas d'água ou garantir a segurança poderia ser reaproveitada para algo muito mais sutil: o enquadramento (framing). O enquadramento é o ato de apresentar um tópico de uma forma que destaque certos aspectos enquanto minimiza outros, influenciando como uma pessoa compreende a questão sem mentir sobre os fatos. Um sistema poderia ser programado para escolher consistentemente palavras que façam uma política governamental parecer uma medida protetora, enquanto outra versão do mesmo sistema poderia ser ajustada para fazer exatamente a mesma política parecer um fardo burocrático. Ambas as respostas poderiam ser factualmente corretas, mas a escolha das palavras guiaria o usuário para uma conclusão emocional ou política específica.

Isso leva a um problema importante que o artigo chama de "problema da atribuição". Se um usuário faz uma pergunta política e recebe uma resposta tendenciosa, é quase impossível dizer de onde veio esse viés. É porque o modelo foi treinado com dados tendenciosos? É porque os desenvolvedores adicionaram uma instrução oculta ao sistema? Ou é porque um terceiro pagou para que as probabilidades fossem deslocadas em uma direção específica? Como o ajuste acontece na fração de segundo antes da resposta ser gerada, ele não deixa rastros no histórico da conversa. Diferente de uma instrução oculta que poderia ser acidentalmente revelada, ou de um conjunto de treinamento enviesado que poderia aparecer em um teste, esse tipo de direcionamento é invisível para qualquer pessoa que observe o código do modelo ou o texto final. O artigo sugere que isso torna extremamente difícil responsabilizar alguém pelas opiniões que uma IA expressa, porque a fonte da influência está escondida na camada de implantação, não no modelo em si.

O autor também introduz um conceito chamado "posicionamento de probabilidade", que descreve uma nova forma hipotética de publicidade. Em vez de uma empresa pagar para que seu produto seja explicitamente mencionado em uma resposta, ela poderia pagar para que sua marca seja ligeiramente mais provável de ser escolhida quando o modelo estiver decidindo entre opções. Imagine pedir uma recomendação sobre qual banco de dados usar. O modelo pode naturalmente pensar que três opções são igualmente boas, mas uma política comercial pode deslocar as chances para que o produto da empresa pagante se torne a escolha mais provável. Isso aconteceria sem qualquer anúncio explícito, sem que o usuário percebesse que está sendo influenciado e sem que o modelo jamais fosse instruído a "vender" algo. É uma forma de embutir a influência comercial diretamente na estrutura da recomendação, fazendo com que pareça uma opinião natural e imparcial.

O artigo examina como essas dinâmicas interagem com as leis e regulamentações atuais, como o Ato de IA da União Europeia e os padrões de publicidade. Observa que, embora existam leis para prevenir manipulação subliminar ou exigir a divulgação de vínculos comerciais, elas foram escritas pensando em tecnologias mais antigas. Elas assumem que, se um produto está sendo promovido, isso será óbvio. Elas não contabilizam um sistema onde a promoção é um pequeno desvio estatístico na probabilidade de uma palavra aparecer. O autor argumenta que, se um sistema pode sistematicamente direcionar usuários para uma visão política específica ou uma escolha comercial sem que eles saibam, isso desafia a própria ideia de tomada de decisão informada. O dano pode não ser imediato ou óbvio em uma única conversa, mas o artigo sugere que, ao longo de milhões de interações, esse direcionamento sutil poderia acumular-se para moldar a opinião pública e o comportamento do mercado de formas profundas.

Em última análise, a pesquisa propõe um novo princípio para a governança chamado "transparência da política de inferência". Isso exigiria que as empresas divulgassem não apenas como seus modelos foram treinados, mas como eles estão sendo direcionados quando são utilizados. O objetivo é criar um sistema onde as regras que modificam as probabilidades sejam visíveis e auditáveis, tal como um rótulo em uma embalagem de alimento. O objetivo é mudar a pergunta de "O que o modelo codifica?" para "Quem controla a distribuição de probabilidade entre o modelo e o usuário?". O artigo conclui que, à medida que esses sistemas se tornam centrais para a forma como acessamos informações, tomamos decisões e debatemos ideias, devemos reconhecer que o modelo é apenas uma parte da equação. A camada invisível que se situa entre a máquina e o humano é onde o real poder de moldar a realidade pode agora residir, e é uma camada que atualmente opera no escuro.