🤖 machine learning

In-Context Learning as Implicit Policy Gradient

Este artigo estabelece uma ligação teórica entre o aprendizado em contexto condicionado por pontuação e a otimização de gradiente de política, demonstrando que mecanismos de autoatenção podem implementar implicitamente atualizações ponderadas por recompensa e fornecendo validação empírica de que grandes modelos de linguagem aproveitam efetivamente pontuações de avaliação para deslocar as distribuições de saída em direção a exemplares de alto desempenho.

Autores originais: Masahiro Kaneko, Timothy Baldwin

Publicado 2026-07-28

📖 8 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Masahiro Kaneko, Timothy Baldwin

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um mundo onde os computadores não apenas seguem uma receita rígida, mas podem aprender sobre a hora, bem no meio de uma conversa. Este é o reino dos Grandes Modelos de Linguagem (LLMs), os cérebros de IA superinteligentes por trás de ferramentas que escrevem histórias, resolvem problemas matemáticos e conversam conosco. Normalmente, para ensinar uma nova técnica a essas IAs, os cientistas precisam entrar no código profundo do computador e ajustar suas configurações internas — algo como refazer a fiação do cérebro de um robô. Mas recentemente, um fenômeno fascinante chamado "Aprendizado em Contexto" (In-Context Learning) foi descoberto. Acontece que esses modelos podem aprender apenas lendo exemplos que você fornece no prompt do chat, sem mudar uma única linha de seu código. Pense nisso como um aluno que, em vez de estudar para uma prova durante toda a semana, subitamente entende o material perfeitamente apenas porque você lhe mostrou algumas questões de prática logo antes de a prova começar.

Ainda mais surpreendente, os pesquisadores descobriram que, se você fornecer a esses modelos exemplos de suas próprias respostas anteriores junto com uma "pontuação" (como uma nota ou classificação), eles podem usar esse feedback para melhorar instantaneamente sua próxima resposta. É como se a IA estivesse dizendo: "Ah, aquela última história tirou 6/10? Entendi o que fiz de errado; deixe-me tentar novamente e buscar um 10". Mas aqui está o grande mistério: Como uma máquina realmente "aprende" com uma pontuação apenas lendo-a? Existe um professor secreto dentro dela? Ou ela está apenas adivinhando? Um novo artigo da conferência COLM 2026 mergulha nesta questão, tentando entender a matemática oculta que faz isso acontecer.

A Grande Descoberta do Artigo: O Músculo de "Recompensa" Secreto da IA

Este artigo, intitulado "In-Context Learning as Implicit Policy Gradient", propõe uma explicação inteligente para como esses modelos de IA usam pontuações para melhorar. Os autores, Masahiro Kaneko e Timothy Baldwin, sugerem que, quando uma IA lê uma lista de suas respostas passadas e suas respectivas pontuações, ela não está apenas memorizando-as. Em vez disso, ela está realizando secretamente um truque matemático que se parece exatamente com um método de aprendizado famoso usado em aprendizado por reforço, chamado Policy Gradient (Gradiente de Política).

Para entender isso, imagine que a IA é um chef tentando cozinhar o prato perfeito.

O Jeito Antigo (Aprendizado Supervisionado): Normalmente, se você quiser que um chef cozinhe melhor, você mostra a ele a foto do prato perfeito (a "entrada") e a receita perfeita (a "saída"). Eles aprendem copiando a diferença entre o que fizeram e o que lhes foi dito para fazer.
O Jeito Novo (ICL Condicionado por Pontuação): Neste novo cenário, o chef não tem uma receita perfeita. Em vez disso, ele tem uma lista de pratos que fez ontem e, para cada um deles, um crítico gastronômico deu uma nota (ex: "Esta sopa foi 4/10, mas este bolo foi 9/10"). O chef olha para essa lista e decide: "Devo fazer meu próximo prato com um sabor mais parecido com o do bolo e menos parecido com o da sopa".

O artigo prova que o mecanismo interno da IA, chamado Self-Attention (Autoatenção), atua como uma calculadora superinteligente que pesa esses pratos passados. Acontece que o mecanismo de atenção da IA pode matematicamente "agarrar" os exemplos de alta pontuação e puxá-los para mais perto de seu processo de pensamento atual, enquanto afasta os de baixa pontuação. É como se a IA tivesse uma mão magnética que apenas pega as respostas "boas" com base em suas pontuações e as usa para empurrar seu próprio pensamento na direção certa.

A Magia Matemática: Como a IA "Agarra" as Boas Respostas

Os autores mostram que isso não é apenas um palpite sortudo; é uma característica estrutural de como esses modelos são construídos. Eles fornecem uma "prova de conceito" mostrando que, se você configurar as configurações internas da IA (os botões e seletores dentro de seu cérebro) de uma determinada maneira, o mecanismo de atenção torna-se um agregador ponderado por recompensa.

Aqui está a analogia: Imagine que a IA é um estudante fazendo uma prova.

A Entrada: O estudante vê uma lista de perguntas passadas e as notas que obteve nelas.
O Mecanismo de Atenção: Este é o cérebro do estudante decidindo em quais exemplos passados focar.
A Magia: O artigo mostra que o cérebro da IA pode ser configurado para que o "foco" que ela dá a um exemplo passado seja diretamente proporcional à nota que ele recebeu. Se um exemplo recebeu uma nota alta, a IA presta muita atenção a ele. Se recebeu uma nota baixa, a IA mal olha para ele.

Os autores demonstram que esse processo é matematicamente idêntico a um método chamado REINFORCE, que é uma forma padrão de ensinar agentes de IA a maximizar recompensas. Em termos simples, a IA está calculando um "gradiente" (uma direção para se mover) baseado nas pontuações, efetivamente dizendo: "Mova meu estado interno em direção aos exemplos de alta pontuação".

A Rede de Segurança: Por Que a IA Não Enlouquece

Uma das partes mais empolgantes do artigo é que ele também explica por que esse processo de aprendizado é seguro e estável. No mundo do treinamento de IA, se você pressionar demais um modelo para mudar, ele pode esquecer tudo o que sabia antes ou começar a dar respostas estranhas e sem sentido. Isso é chamado de "desvio de distribuição" (distribution shift).

Os autores provam que, como a IA está olhando apenas para um número limitado de exemplos (um "contexto") e as pontuações são limitadas (não podem ser infinitamente altas ou baixas), a mudança no comportamento da IA também é limitada. Eles derivam um limite matemático, semelhante a uma "região de confiança", que garante que a nova resposta da IA não será demais diferente da sua anterior. É como um corrimão de segurança em uma montanha-russa: a IA tem permissão para acelerar e fazer curvas para encontrar respostas melhores, mas a matemática garante que ela nunca saia dos trilhos.

O Que os Experimentos Mostraram

Para garantir que isso não fosse apenas uma bela teoria, os autores testaram o modelo em alguns dos sistemas de IA mais poderosos do mundo, incluindo Llama-3, Olmo-3, Qwen-3, GPT-4o e outros. Eles realizaram experimentos onde deram aos modelos listas de suas próprias saídas com pontuações e observaram o que acontecia.

Eis o que descobriram:

Pontuações Importam: Quando embaralharam as pontuações (dando uma nota alta para uma resposta ruim e uma nota baixa para uma boa), o comportamento da IA mudou completamente. Isso provou que a IA estava realmente lendo os números, não apenas o texto.
O "Foco" Corresponde à Pontuação: Eles olharam dentro do cérebro da IA e descobriram que os "pesos de atenção" (o quanto a IA focava em cada exemplo) estavam fortemente correlacionados com as pontuações. Quanto maior a pontuação, mais a IA focava naquele exemplo.
Funciona como Aprendizado por Reforço: Quando compararam o comportamento da IA com um algoritmo de aprendizado por reforço tradicional (que calcula gradientes explicitamente), as direções para as quais a IA se moveu foram quase idênticas. A IA estava fazendo a mesma matemática, apenas sem ser explicitamente instruída a fazê-lo.
Melhora com o Tempo: Quando deixaram a IA fazer isso de forma iterativa (gerar uma resposta, receber uma pontuação, gerar uma resposta melhor, receber uma pontuação melhor), os modelos melhoraram consistentemente seu desempenho em tarefas como raciocínio matemático e otimização de prompts.

O Que Isso Significa (e o Que Não Significa)

O artigo é muito cuidadoso ao declarar o que ele não afirma. Ele não diz que a IA está "pensando" ou "compreendendo" de uma forma humana. Não diz que a IA está executando um programa de otimização complexo em segundo plano. Em vez disso, mostra que a arquitetura da IA naturalmente implementa uma forma de otimização através de seu mecanismo de atenção.

Os autores enfatizam que isso é uma "correspondência estrutural". Significa que a matemática funciona da mesma forma, mesmo que a IA não esteja "tentando" fazer isso. Eles também observam que sua prova depende de algumas suposições simplificadas (como atenção linear), mas seus experimentos em modelos reais e complexos mostram que o mesmo comportamento se mantém na prática.

Em resumo, este artigo resolve um mistério sobre como os modelos de IA aprendem com o feedback sem alterar seu código. Ele revela que, quando uma IA olha para uma lista de exemplos "bons" e "ruins", ela usa seu mecanismo de atenção para matematicamente puxar a si mesma em direção aos "bons", realizando efetivamente uma atualização de gradiente de política. É um belo exemplo de como comportamentos de aprendizado complexos podem emergir de estruturas matemáticas simples e bem desenhadas, transformando a IA em um estudante que se autoaperfeiçoa ao aprender com suas próprias notas.

Resumo Técnico: Aprendizado em Contexto como Gradiente de Política Implícito

Declaração do Problema

Grandes Modelos de Linguagem (LLMs) demonstraram a capacidade de melhorar seus resultados iterativamente ao incorporar amostras geradas e suas respectivas pontuações de avaliação como exemplos em contexto (ex: OPRO, mecanismos de auto-recompensa). Embora empiricamente bem-sucedido, os fundamentos teóricos deste Aprendizado em Contexto (ICL) "condicionado à pontuação" permanecem pouco compreendidos. Os frameworks teóricos existentes para ICL analisam primariamente configurações de aprendizado supervisionado com pares diversificados de entrada-saída $(x, y)$ , enquadrando o ICL como gradiente descendente implícito ou inferência Bayesiana. No entanto, esses frameworks não consideram o regime de aprendizado baseado em recompensa, no qual os modelos condicionam em pares saída-pontuação $(y, r)$ para uma entrada fixa $x$ . Este artigo aborda a lacuna na compreensão de qual algoritmo de aprendizado a geração condicionada à pontuação implementa e por que ela funciona.

Metodologia

Os autores propõem um framework teórico estabelecendo uma correspondência estrutural entre o ICL condicionado à pontuação e a otimização de gradiente de política, especificamente o algoritmo REINFORCE. A metodologia consiste em três componentes principais:

Provas Teóricas Construtivas:
- Atenção Linear: Os autores fornecem uma prova construtiva de que mecanismos de auto-atenção linear podem implementar agregação ponderada por recompensa. Ao configurar as matrizes de peso ( $W_Q, W_K, W_V, W_P$ ) de modo que o produto query-key extraia o componente da pontuação ( $q^\top k = r$ ) e a projeção de valor extraia o embedding da saída, o mecanismo de atenção realiza uma soma ponderada das saídas proporcional às suas pontuações.
- Atenção Softmax: O framework é estendido para a atenção softmax, demonstrando que ela implementa a agregação ponderada por Boltzmann, onde os exemplos são ponderados pelo exponencial de suas pontuações ( $\exp(r/\tau)$ ).
- Correspondência de Gradiente de Política: O artigo prova que, sob condições específicas (pontuações centralizadas e um mapeamento de camada de saída identidade), a atualização do estado oculto induzida por este mecanismo de atenção é exatamente equivalente ao estimador de gradiente de política REINFORCE.
- Desvio de KL Limitado: Dentro de um modelo simplificado de camada de saída, os autores derivam um limite superior exato para a divergência de Kullback-Leibler (KL) induzida por uma atualização de atenção limitada. Isso estabelece uma propriedade do tipo "região de confiança", mostrando que o desvio de distribuição é limitado pela magnitude das pontuações e pelo tamanho do passo de atualização, sem exigir um objetivo explicitamente penalizado por KL.
Validação Empírica:
- Modelos: Experimentos foram conduzidos em múltiplos LLMs de pesos abertos (Llama-3, Olmo-3, Qwen-3) e modelos de pesos fechados (GPT-4o, Gemini 2.5, Claude Sonnet 4).
- Tarefas: O estudo avaliou otimização de prompt (DROP, GSM8K) e prompting de jailbreak (HH-RLHF, JailbreakBench).
- Análise Mecanística: Os autores analisaram pesos de atenção, representações de estado oculto e realizaram intervenções causais (ablação e amplificação de cabeças de atenção específicas) para verificar as previsões teóricas.

Contribuições Principais

Correspondência Estrutural com REINFORCE: O artigo estabelece que o ICL condicionado à pontuação admite uma correspondência estrutural com a otimização de gradiente de política. Prova-se que a auto-atenção pode implementar a agregação ponderada por recompensa análoga ao algoritmo REINFORCE, onde a atenção pondera os exemplos por suas pontuações em vez da similaridade de entrada.
Desvio de Distribuição Limitado: Os autores derivam um limite superior exato por caminho do desvio de KL induzido por atualizações de atenção. Isso fornece uma justificativa teórica para a estabilidade do ICL iterativo, analogamente aos métodos de região de confiança em otimização de política explícita.
Evidência Mecanística: Através de extensos experimentos, o artigo demonstra que:
- As pontuações dos exemplos possuem correlação positiva de ranking com as mudanças de log-probabilidade ( $\Delta \log p$ ).
- Os pesos de atenção correlacionam-se fortemente com as pontuações dos exemplos, particularmente nas camadas posteriores.
- Existem "cabeças de atenção especializadas em pontuação" onde o produto escalar key-query correlaciona-se com os valores da pontuação.
- Intervenções causais nessas cabeças (amplificando ou suprimindo-as) modulam diretamente a força do comportamento ponderado pela pontuação.
- Os desvios de distribuição induzidos por ICL e pelo fine-tuning REINFORCE explícito estão alinhados em termos direcionais.

Resultados

Análise de Correlação: Foram encontradas correções de Spearman positivas significativas entre as pontuações dos exemplos e as mudanças de log-probabilidade em todos os modelos e tarefas ( $p < 0,01$ ). A permutação das etiquetas de pontuação reduziu essa correlação para próximo de zero, confirmando que o efeito é impulsionado por pontuações numéricas explícitas.
Comportamento de Escala: A magnitude do desvio de distribuição ( $|\Delta \log p|$ ) diminuiu com o tamanho do contexto $N$ seguindo uma escala de $1/N$ , consistente com a escala da taxa de aprendizado teórica nas provas.
Melhoria Iterativa: O ICL condicionado à pontuação iterativo resultou em melhorias consistentes de pontuação ao longo de 10 iterações para todos os modelos testados, com ganhos estabilizando ao longo do tempo.
Alinhamento com REINFORCE: A similaridade de cosseno entre os vetores de desvio de distribuição do ICL e do fine-tuning REINFORCE explícito excedeu 0,45 em todos os pares de modelo-tarefa, confirmando que eles deslocam as distribuições em direções semelhantes.
Verificação Causal: A ablação das representações de tokens de pontuação em camadas tardias interrompeu a correlação pontuação-probabilidade, enquanto a amplificação de cabeças "especializadas em pontuação" (identificadas por alto Índice de Extração de Pontuação) fortaleceu significativamente a correlação, confirmando um elo causal.

Significância e Alegações

O artigo alega fornecer o primeiro entendimento teórico principiado de por que o ICL condicionado à pontuação funciona, enquadrando-o como uma forma implícita de otimização de gradiente de política. Os autores enfatizam que este é um resultado de existência, demonstrando a capacidade da arquitetura transformer de implementar tais mecanismos; eles não alegam que os modelos pré-treinados adotam as configurações exatas de matrizes de peso derivadas em suas provas. Em vez disso, a evidência empírica sugere que os modelos pré-treinados aprendem mecanismos funcionalmente similares.

A significância deste trabalho reside em:

Fundamentação Teórica: Ele preenche a lacuna entre os sucessos empíricos do OPRO e dos modelos de auto-recompensa e a teoria de otimização formal, conectando o ICL ao campo bem estabelecido do aprendizado por reforço.
Insight Mecanístico: Identifica mecanismos internos específicos (cabeças de atenção especializadas em pontuação) responsáveis por esse comportamento, indo além de observações comportamentais para explicações mecanísticas.
Implicações Práticas: As descobertas sugerem que pipelines de alinhamento em tempo de inferência e auto-melhoria podem aproveitar essas propriedades de otimização implícita sem o custo computacional do fine-tuning. A propriedade de desvio de KL limitado oferece uma base teórica para a estabilidade de métodos de prompting iterativos.

Os autores mantêm a modéstia quanto às suas alegações, observando que a correspondência matemática exata ocorre sob suposições simplificadoras (atenção linear, camada única, mapeamento de identidade de saída). Eles reconhecem que estender as garantias formais para arquiteturas multi-camadas totalmente não lineares permanece como uma direção para trabalhos futuros, mas afirmam que as previsões qualitativas e a evidência empírica suportam robustamente a analogia proposta.