💬 NLP

What Language Models Know But Don't Say: Non-Generative Prior Extraction for Generalization

O artigo apresenta o LoID, um método determinista que extrai distribuições de prior informativo de modelos de linguagem diretamente de suas previsões em nível de token para melhorar a generalização em regressão logística bayesiana em cenários com dados limitados e distribuição fora do conjunto de treinamento, superando abordagens baseadas em geração de texto.

Autores originais: Sara Rezaeimanesh, Mohammad M. Ghassemi

Publicado 2026-04-23

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Sara Rezaeimanesh, Mohammad M. Ghassemi

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um médico novato tentando prever se um paciente vai se recuperar de uma doença. Você tem apenas 10 prontuários antigos de um único hospital pequeno. É como tentar aprender a dirigir olhando apenas para um carro parado na garagem: você sabe o básico, mas não sabe como reagir a uma chuva torrencial ou a uma estrada de terra que nunca viu.

Esse é o problema que os cientistas de dados enfrentam em áreas críticas como medicina e finanças: os dados reais são escassos e muitas vezes não representam a realidade completa.

Aqui entra o LoID (Logit-Informed Distributions), o "herói" desta pesquisa. Vamos explicar como ele funciona usando uma analogia simples.

A Grande Ideia: O "Sábio" que não fala, mas pensa

Geralmente, quando usamos Inteligência Artificial (LLMs) para ajudar, pedimos para ela "escrever" uma resposta ou "inventar" um exemplo. É como perguntar a um professor de física: "Me dê um exemplo de como um carro freia". Ele vai escrever um texto. Mas e se o professor estiver cansado e escrever algo confuso? Ou se ele inventar um exemplo errado? Isso gera ruído e incerteza.

O LoID faz algo diferente e mais inteligente. Ele não pede para o modelo "falar". Em vez disso, ele pergunta ao modelo: "O que você acha que vai acontecer?" e olha para a confiança silenciosa do modelo.

A Analogia da Balança de Confiança

Imagine que o modelo de linguagem é um juiz experiente que já leu milhões de livros de medicina e finanças. Você quer saber se "fumar" é ruim para a saúde.

O Método Antigo (Gerativo): Você pede ao juiz: "Escreva um texto sobre fumar". Ele escreve um parágrafo. Você tem que ler e tentar entender o que ele quis dizer. Pode haver erros de digitação ou ambiguidade.
O Método LoID (Não Gerativo): Você não pede para ele escrever. Você coloca duas placas na frente dele:
- Placa A: "Fumar tem um impacto positivo na saúde."
- Placa B: "Fumar tem um impacto negativo na saúde."

O LoID não olha para o texto que o juiz escreveria. Ele olha para o sussurro interno do juiz (os "logits", que são as probabilidades matemáticas antes de ele escolher uma palavra). Ele vê: "Nossa, o cérebro do modelo está tremendo 99% de certeza na Placa B e quase 0% na Placa A".

O LoID mede essa diferença de confiança. Se o modelo é muito confiante de que algo é ruim, o LoID diz ao seu modelo de aprendizado de máquina: "Ei, use isso como uma regra forte!". Se o modelo estiver dividido (50/50), o LoID diz: "Ok, não temos certeza, seja flexível".

Por que isso é mágico?

Sem "Alucinações": Como o modelo não precisa gerar texto, ele não inventa histórias. Ele apenas revela o que ele "sabe" internamente.
Aprendizado Rápido: Em vez de precisar de 1.000 exemplos de pacientes para aprender que "idade avançada aumenta risco de AVC", o LoID usa o conhecimento geral do modelo (que já sabe disso) para criar uma regra inicial (um "prior").
Funciona com Poucos Dados: Quando você tem poucos dados reais (o "médico novato"), essa regra inicial ajuda o modelo a não cometer erros bobos e a generalizar melhor para pacientes que ele nunca viu antes.

O Resultado na Vida Real

Os pesquisadores testaram isso em 15 situações diferentes, desde prever se alguém vai comprar um produto bancário até prever a força do concreto.

Onde funcionou muito bem: Em coisas com lógica universal. Por exemplo, em medicina, o modelo sabia que "idade alta" é ruim para o coração. Mesmo que os dados de treino fossem de jovens, o LoID "avisou" o modelo para não ignorar o risco dos idosos. O resultado? O modelo recuperou 50% do desempenho que teria se tivesse todos os dados do mundo.
Onde falhou: Em coisas muito específicas e comportamentais. Por exemplo, prever se alguém vai alugar uma bicicleta em uma cidade específica. O modelo sabe que "chuva é ruim", mas não sabe que "naquela cidade específica, a chuva faz as pessoas alugarem mais bicicletas porque não têm para onde ir". Aqui, o conhecimento geral do modelo atrapalhou um pouco.

Resumo em uma frase

O LoID é como ter um consultor sábio que não precisa escrever um relatório longo para te ajudar; basta você olhar para a expressão séria dele (a probabilidade matemática) para saber exatamente o que ele acha, permitindo que você tome decisões melhores mesmo com pouca informação.

É uma forma de transformar o "conhecimento do mundo" de uma IA em um mapa de navegação para modelos que estão perdidos em dados escassos.

Título: O que os LLMs Sabem mas Não Dizem: Extração de Priors Não Generativos para Generalização

1. O Problema

Em domínios críticos como medicina e finanças, a disponibilidade de grandes conjuntos de dados rotulados e balanceados é frequentemente limitada ou inexistente. Modelos treinados em pequenos conjuntos de dados tendem a sofrer de má generalização quando confrontados com populações reais que diferem da distribuição de treinamento (deslocamento de distribuição ou Out-of-Distribution - OOD).

Embora métodos Bayesianos ofereçam uma abordagem principista para mitigar essa fragilidade através da incorporação de conhecimento prévio (priors), a elicitação manual de priors de alta qualidade é um desafio complexo. Recentemente, os Grandes Modelos de Linguagem (LLMs) foram propostos como fontes de conhecimento, mas as abordagens existentes dependem de geração de texto (amostragem), o que introduz variabilidade aleatória e ruído, ou falham em extrair a estrutura interna do modelo de forma determinística.

2. Metodologia: LoID (Logit-Informed Distributions)

Os autores propõem o LoID, um framework determinístico que extrai distribuições a priori informativas para regressão logística e linear Bayesiana diretamente das logits (probabilidades de tokens) de um LLM, sem depender da geração de texto.

O Processo LoID:

Consulta de Crenças via Diferenças de Logits: Para cada característica (feature) $f_j$ do conjunto de dados, o método constrói pares de prompts semanticamente opostos que afirmam uma relação positiva ou negativa entre a característica e a variável alvo (ex: "O impacto de $f_j$ no resultado é [positivo/negativo]").
Extração de Probabilidades: Em vez de gerar a frase completa, o sistema acessa as probabilidades dos tokens de saída ("positivo" vs. "negativo") no nível do token seguinte.
Cálculo do Score de Preferência: A diferença de logits entre os tokens positivos e negativos é calculada para quantificar a crença direcional do modelo.
- $logit_j(p_i) = \log(\frac{P_+}{P_-})$
Construção da Distribuição A Priori:
- Média ( $\mu_j$ ): A média das pontuações de preferência de logits sobre múltiplas formulações de prompts (paráfrases) representa a força da crença do LLM.
- Variância ( $\sigma_j^2$ ): O desvio padrão das pontuações entre as diferentes paráfrases serve como estimativa de incerteza. Se o LLM for inconsistente nas diferentes formulações, a variância aumenta, permitindo que os dados observados tenham mais influência.
Inferência Bayesiana: Essas médias e variâncias formam distribuições Gaussianas ( $\mathcal{N}(\mu_j, \sigma_j^2)$ ) que são usadas como priors informativos em modelos de regressão Bayesiana. A inferência é realizada usando uma aproximação de Laplace para eficiência.

Diferenciais Chave:

Determinístico: Elimina a variabilidade de amostragem de texto.
Não Generativo: Não requer que o LLM "escreva" um prior, apenas que classifique tokens.
Sem Ajuste Fino (Zero-shot): Funciona com modelos pré-treinados sem necessidade de fine-tuning ou exemplos em contexto (in-context learning).

3. Contribuições Principais

Primeira Extração de Priors via Logits: O LoID é o primeiro método a extrair priors Bayesianos diretamente das distribuições de probabilidade de tokens de LLMs, evitando o ruído da geração de texto.
Avaliação Abrangente em Cenários OOD: O método foi testado em 15 conjuntos de dados tabulares reais (incluindo um conjunto médico privado não presente nos dados de treinamento do LLM) sob condições de deslocamento de covariância sintético.
Análise de Falhas e Sucessos: O estudo identifica claramente quando o conhecimento do LLM é útil (relações semânticas estáveis, como física e biologia) e quando é prejudicial (padrões comportamentais específicos de conjuntos de dados ou contextos locais).

4. Resultados Experimentais

O LoID foi comparado contra:

Priors não informativos (Normal padrão $N(0,1)$ ).
AutoElicit: Método que pede ao LLM para gerar priors via amostragem.
LLMProcesses: Método que usa o LLM para prever diretamente os valores numéricos.
Oracle (P_IID): Limite superior usando dados de treinamento em distribuição (IID).

Desempenho:

Melhoria Geral: O LoID melhorou significativamente a generalização OOD em 11 dos 15 conjuntos de dados, recuperando em média 50% da lacuna de desempenho em relação ao modelo Oracle.
Casos de Sucesso: Em tarefas médicas e demográficas com relações causais estáveis (ex: Adult Income, Chronic Kidney Disease, Concrete Strength), o LoID recuperou até 83,8% a 93,9% da lacuna de desempenho.
Casos de Falha: O método teve desempenho inferior em tarefas comportamentais ou altamente contextuais (ex: Bank Marketing, Bike Sharing), onde o LLM não possui conhecimento específico sobre campanhas ou infraestrutura local, introduzindo viés prejudicial.
Comparação com Baselines:
- Superou o LLMProcesses em 12/14 datasets (o LoID extrai o conhecimento de relacionamento, enquanto a previsão direta falha com dados esparsos).
- Superou o AutoElicit em 12/14 datasets (a extração de logits é mais calibrada e menos variável que a geração de texto).

5. Significado e Conclusão

O trabalho demonstra que os LLMs contêm conhecimento valioso sobre as relações entre características e alvos, mesmo que não consigam expressá-lo perfeitamente em texto gerado ou prever valores numéricos exatos em cenários de dados escassos.

A principal lição é que extrair a estrutura de crença interna (logits) é uma estratégia mais robusta e confiável do que depender da geração de texto ou da previsão direta para tarefas tabulares sob deslocamento de distribuição. O LoID oferece uma ponte eficiente entre o conhecimento enciclopédico dos LLMs e a inferência estatística rigorosa, permitindo que modelos clássicos (regressão logística/linear) generalizem melhor em cenários de dados limitados, desde que as relações subjacentes sejam semanticamente generalizáveis.

Limitações: O método depende de características com nomes semânticos significativos (dificultando o uso em dados totalmente anonimizados) e requer acesso aos logits do modelo, o que limita sua aplicação em APIs de modelos fechados.