💬 NLP

Using Probabilistic Programs to Train Inductive Reasoning in Large Language Models

Este artigo introduz o Program-based Posterior Training (PPT), um novo método de ajuste fino que utiliza programas probabilísticos para gerar diversos cenários de mundo aberto e rótulos suaves distributivos, aumentando significativamente a capacidade dos grandes modelos de linguagem de realizar raciocínio indutivo incerto e alinhar-se com julgamentos humanos.

Autores originais: Liyi Zhang, Akshay K. Jagadish, Brenden M. Lake, Thomas L. Griffiths

Publicado 2026-06-10

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Liyi Zhang, Akshay K. Jagadish, Brenden M. Lake, Thomas L. Griffiths

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um aluno muito inteligente e culto (um Grande Modelo de Linguagem, ou LLM) a fazer suposições sobre o mundo real.

Atualmente, esses alunos são excelentes em raciocínio dedutivo. Isso é como resolver um problema matemático ou escrever um código: existe um conjunto claro de regras e, se você as seguir corretamente, há uma única resposta, 100% correta. Se o aluno errar, é um erro claro.

No entanto, o mundo real raramente é tão limpo. A maior parte do nosso pensamento diário é raciocínio indutivo. Isso é como ser um detetive olhando para alguns fragmentos de pistas espalhadas para descobrir o que aconteceu.

Exemplo: Você vê um amigo chegando atrasado, parecendo cansado e checando o relógio. Você supõe que ele dormiu demais. Mas talvez ele tenha ficado preso no trânsito? Talvez tenha perdido o ônibus? Não há uma única resposta "correta"; existe uma gama de possibilidades, cada uma com um nível diferente de probabilidade.

O problema é que os métodos de treinamento padrão têm dificuldade com isso. É difícil encontrar uma biblioteca massiva de "casos de detetive" onde as respostas já sejam avaliadas por um professor que saiba a probabilidade exata de cada resultado. Pedir a outros modelos de IA para avaliar esses casos é arriscado porque eles podem apenas copiar seus próprios vieses.

A Solução: O "Jogo de Simulação" (Treinamento de Posterior Baseado em Programas)

Os autores deste artigo criaram uma maneira inteligente de treinar a IA para lidar com a incerteza. Eles chamam isso de Treinamento de Posterior Baseado em Programas (PPT).

Pense nisso como uma linha de produção de três etapas de um jogo de videogame:

O Contador de Histórias (O LLM): Primeiro, eles pedem a uma IA poderosa para inventar vários cenários de mundo aberto e selvagens.
- Exemplo: "Imagine um campeonato de levantamento de peso onde o desempenho dos atletas depende da sua força natural, do seu foco naquele dia e de quanto eles dormiram."
O Matemático (O Programa Probabilístico): Em seguida, eles pedem à IA para traduzir essa história em um código matemático rigoroso (um "programa probabilístico"). Este código atua como um motor de simulação perfeito. Ele não apenas supõe; ele calcula as chances matemáticas exatas de cada resultado com base nas regras da história.
- Analogia: Se a história é uma receita, esta etapa é escrever um programa de computador que simula exatamente como o bolo vai crescer, quão denso ele será e a probabilidade de queimar, com base nos ingredientes.
O Professor (Os Dados de Treinamento): Finalmente, eles executam essa simulação milhares de vezes. Em vez de dar ao aluno uma única resposta (ex: "Jamal vencerá"), a simulação fornece uma distribuição de respostas (ex: "Jamal tem 60% de chance de vencer, 30% de chance de empatar e 10% de chance de perder").

O aluno de IA é então treinado nesses milhões de cenários simulados. Em vez de aprender a memorizar uma única resposta "certa", ele aprende a combinar a forma da nuvem de probabilidade gerada pela simulação.

O Que Aconteceu Quando Eles Tentaram Isso?

Os pesquisadores testaram este novo "aluno" em vários desafios:

Melhor Suposição: Quando questionada para prever resultados em cenários esportivos ou de saúde que ela nunca tinha visto antes, a IA fez estimativas muito mais precisas. Ela não apenas chutou um número; ela entendeu a incerteza em torno desse número.
Pensando como Humanos: Quando compararam as suposições da IA com julgamentos humanos reais, a IA treinada com este método alinhou-se muito melhor com a forma como as pessoas reais pensam. Ela parou de ser excessivamente confiante e começou a agir mais como um observador humano cauteloso.
Generalização: Mesmo quando testaram a IA em tópicos completamente diferentes (como mudar de esportes para saúde), ela ainda teve um bom desempenho. Isso sugere que ela aprendeu uma habilidade geral de "pensar com incerteza", e não apenas memorizou fatos esportivos.
Calibração: A IA tornou-se "calibrada". Isso significa que, se ela diz que há 70% de chance de algo acontecer, isso acontece cerca de 70% das vezes. O artigo observa que este melhoria é profunda; não é apenas um truque superficial (como ajustar um botão depois do fato), mas uma mudança fundamental na forma como o modelo representa a incerteza.

A Conclusão

O artigo argumenta que, para tornar a IA melhor no raciocínio do mundo real, não devemos apenas alimentá-la com mais fatos. Em vez disso, devemos ensiná-la a simular o mundo. Ao usar a IA para gerar histórias, transformar essas histórias em simulações matemáticas rigorosas e, em seguida, treinar outras IAs com os resultados dessas simulações, podemos criar modelos que são muito melhores em lidar com a natureza bagunçada, incerta e probabilística da vida real.

Eles não testaram isso em diagnósticos médicos ou aconselhamento jurídico neste estudo específico; focaram em esportes, cenários gerais e benchmarks específicos para provar que o método funciona. A ideia central é que programas probabilísticos atuam como um professor perfeito, permitindo que a IA aprenda a arte da incerteza.

Resumo Técnico: Treinamento de Posterior Baseado em Programas para Raciocínio Indutivo em LLMs

Declaração do Problema

Embora os Grandes Modelos de Linguagem (LLMs) tenham alcançado um sucesso significativo em tarefas de raciocínio dedutivo (ex: matemática, codificação), onde a correção é determinística e verificável, eles enfrentam dificuldades com o raciocínio indutivo. Problemas indutivos do mundo real exigem a inferência de crenças latentes incertas a partir de observações esparsas, ambíguas e ruidosas.

O treinamento de LLMs para essas tarefas enfrenta dois desafios primários:

Escassez de Dados: Conjuntos de dados rotulados de alta qualidade e larga escala para raciocínio indutivo de mundo aberto são difíceis de curar. Julgamentos humanos são caros e difíceis de escalar, enquanto o uso de LLMs mais fortes para gerar rótulos corre o risco de herdar seus vieses e erros.
Alvos Distribuicionais: O raciocínio indutivo frequentemente exige a representação da incerteza (uma distribuição sobre possíveis respostas) em vez de uma única estimativa pontual. Métodos de ajuste fino (fine-tuning) padrão lutam com alvos que são inerentemente probabilísticos.

Metodologia: Treinamento de Posterior Baseado em Programas (PPT)

Os autores propõem o Treinamento de Posterior Baseado em Programas (PPT), um pipeline que utiliza programas probabilísticos para gerar supervisão fundamentada e escalável para o ajuste fino de LLMs. O fluxo de trabalho consiste em três etapas sequenciais (ilustradas na Figura 1):

Síntese de Cenários: Um LLM de código fechado e forte gera cenários de linguagem natural diversos e de mundo aberto, juntamente com consultas associadas.
Geração de Programa Probabilístico: O LLM traduz cada cenário em um programa probabilístico estruturado (especificamente em Pyro, uma linguagem de programação probabilística baseada em Python). Esta etapa envolve:
- Identificar variáveis latentes relevantes ( $z$ ), observações ( $x$ ) e variáveis de consulta ( $y$ ).
- Codificar o modelo generativo $p_\theta(z, x, y) = p_\theta(z)p_\theta(x|z)p_\theta(y|z, x)$ .
Geração de Alvo: Os programas probabilísticos gerados são executados para realizar a inferência probabilística (via MCMC ou Rejection Sampling). Isso produz a distribuição posterior $p_\theta(y|x)$ , que serve como o alvo de supervisão "verdade fundamental" (ground truth).

Estratégia de Ajuste Fino (Fine-Tuning):
Os autores realizam o ajuste fino de LLMs de código aberto (LLaMA-3-8B-Instruct e Qwen-2-7B-Instruct) usando Low-Rank Adaptation (LoRA) nos tuplas $(cenário, consulta, posterior)$ geradas. Eles exploram dois formatos de supervisão:

Alvo Distribuicional (Distribuição PPT): O LLM é treinado para prever a probabilidade posterior discretizada sobre os tokens de resposta (ex: inteiros 0–100) usando perda de entropia cruzada contra a distribuição inferida pelo programa.
Alvo Pontual (Média PPT): O LLM é treinado apenas na média da posterior (arredondada para o inteiro mais próximo).

O conjunto de dados compreende mais de 10.000 cenários únicos e 59.000+ consultas em três domínios: Esportes, Saúde e Geral.

Contribuições Principais

Novo Paradigma de Treinamento: O artigo introduz um método para ajustar LLMs para raciocínio indutivo, estabelecendo uma ponte entre linguagem natural de mundo aberto e modelos probabilísticos precisos, indo além da supervisão de estimativa pontual determinística.
Criação de Conjunto de Dados Escalável: Os autores criam um conjunto de dados de larga escala de problemas de inferência indutiva com rótulos probabilisticamente fundamentados, gerados via um pipeline automatizado que estende a Arquitetura de Síntese de Modelo (MSA).
Validação Empírica da Supervisão Distribuicional: O estudo demonstra que o ajuste fino na distribuição posterior completa produz resultados superiores em comparação ao ajuste fino nas médias da posterior ou ao uso direto de LLMs mais fortes como rotuladores.
Complementaridade com Métodos de Calibração: O trabalho mostra que o PPT melhora a calibração "bruta" (a representação interna de incerteza do modelo) e é complementar ao escalonamento de temperatura post-hoc, em vez de ser subsumido por ele.

Resultados Experimentais

1. Raciocínio Indutivo em Cenários Não Vistos (Held-Out)

Acurácia: Modelos ajustados com PPT superam significativamente os LLMs base e as fortes linhas de base de código fechado (ex: Gemini-3.1-Pro) em cenários de esportes retidos com motivos inferenciais não vistos. O Erro Médio Absoluto (MAE) nas estimativas da média da posterior foi substancialmente reduzido.
Representação de Incerteza: Ao contrário dos modelos base que frequentemente produzem massas de probabilidade não calibradas e idiossincráticas (ex: agrupamento em múltiplos de dez), os modelos PPT produzem distribuições de resposta que se alinham de perto com as inferências do programa probabilístico de verdade fundamental.
Alinhamento Humano: Em cenários de esportes, os modelos PPT alcançaram uma correlação ( $R^2$ ) de 0,775 com julgamentos humanos, superando o LLM base (0,509) e igualando o desempenho dos programas originais da MSA (0,769).

2. Transferência de Domínio (Fora do Domínio)

Modelos ajustados em dados de Esportes mostraram melhor desempenho em cenários de Saúde (um domínio retido), apesar de nunca terem visto dados de treinamento de saúde. Isso sugい que o modelo aprendeu comportamentos indutivos de domínio geral, em vez de memorizar fatos específicos de um domínio.
O treinamento em uma mistura de todos os domínios (Esportes, Saúde, Geral) proporcionou melhorias adicionais em relação ao treinamento de domínio único.

3. Transferência para Benchmarks Externos

Os autores avaliaram a transferência em sete benchmarks externos, incluindo OpenEstimate (OE), Bayesian Teaching (BT), MMLU, TruthfulQA, HellaSwag, ARC-Challenge e Winogrande.

Calibração: O PPT (Distribuição) reduziu consistentemente o Erro de Calibração Esperado (ECE) e a Log-Verossimilhança Negativa (NLL) em todos os benchmarks de múltipla escolha em comparação com os modelos base.
Complementaridade: Aplicar o escalonamento de temperatura (TS) post-hoc aos modelos ajustados com PPT resultou em novos ganhos em NLL e ECE, indicando que o PPT altera a representação bruta de incerteza do modelo enquanto o TS ajusta o escalonamento de confiança.
Acurácia: O PPT melhorou a acurácia da elicitação de prior (reduzindo o MAE no OpenEstimate) e, em alguns casos, melhorou a acurácia da previsão de argmax em tarefas de múltipla escolha.

4. Estudos de Ablação

Distribuição vs. Média: O ajuste fino na distribuição completa (Distribuição PPT) superou consistentemente o ajuste fino na média da posterior (Média PPT) em todas as métricas, destacando a importância da informação distribuicional.
Amostragem Direta (Forward Sampling) vs. Inferência de Posterior: Embora a amostragem direta permita conjuntos de dados maiores, os modelos treinados em alvos de inferência de posterior completa alcançaram melhor calibração e desempenho de transferência.

Significância e Alegações

O artigo alega que o ajuste fino mediado por programas probabilísticos é uma abordagem promissora para que LLMs realizem inferência indutiva aproximada no pós-treinamento.

Internalização da Incerteza: Os resultados sugerem que o PPT permite que os modelos "internalizem profundamente" a incerteza, permitindo que gerem crenças calibradas em vez de apenas reescalonar saídas post-hoc.
Supervisão Escalável: A abordagem demonstra que programas probabilísticos podem servir não apenas como ferramentas de raciocínio em tempo de teste, mas também como fontes escaláveis e automatizadas de supervisão para treinar LLMs em tarefas de raciocínio complexas e incertas.
Generalização: O método transfere-se com sucesso para estruturas inferenciais (motivos) não vistas e para domínios inteiramente novos, sugerindo que captura a lógica subjacente do raciocínio indutivo em vez de padrões superficiais.

Os autores reconhecem limitações, observando que a qualidade da supervisão depende da fidelidade dos programas probabilísticos gerados pelo LLM e que a avaliação atual foca em consultas numéricas e de múltipla escolha, não em raciocínio de texto aberto. No entanto, eles concluem que este pipeline melhora efetivamente a precisão da estimativa, o alinhamento humano e a calibração em LLMs.