Resumo Técnico: LLMs como Imputadores Implícitos

Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) estão sendo cada vez mais implantados em cenários onde o contexto de entrada está incompleto, truncado ou degradado (por exemplo, recuperação parcial em sistemas RAG). Apesar de operarem sob tais déficits de informação, os LLMs tipicamente geram respostas únicas com alta certeza aparente. Isso levanta uma questão crítica: As estimativas de incerteza dos LLMs refletem adequadamente a quantidade de informação faltante?

As avaliações atuais frequentemente focam na calibração estática (correspondência entre confiança e precisão sob entradas fixas). No entanto, há uma falta de compreensão sobre se as estimativas de incerteza escalam dinamicamente à medida que as entradas se tornam menos informativas. O artigo argumenta que um sistema preditivo adequado deve exibir incerteza que aumenta à medida que a fração de informação faltante aumenta, um princípio fundamentado na aprendizagem profunda bayesiana e na teoria de dados faltantes.

Metodologia

Estrutura Teórica: Imputação Múltipla Implícita

Os autores operacionalizam a avaliação da incerteza dos LLMs traçando uma analogia com a Imputação Múltipla (MI) [Rubin, 1987]. Na MI, a incerteza surge de variáveis não observadas e é quantificada pela variabilidade entre múltiplos conjuntos de dados completados.

• Analogia: A amostragem repetida de um LLM sob contexto incompleto é vista como a geração de "completamentos implícitos" da informação faltante.
• Critério: Um imputador adequado (e, portanto, um LLM adequado) deve exibir incerteza que escala com a quantidade de informação faltante. Se o contexto for removido, a variabilidade (incerteza) das respostas geradas deve aumentar.

Configuração Experimental

• Conjunto de Dados: SQuAD (Compreensão de Leitura), utilizando trechos de respostas curtas extraídos de parágrafos de contexto.
• Condições de Evidência: Um framework controlado onde a disponibilidade de contexto é variada através de um parâmetro $\alpha \in [0, 1]$. O contexto $C(\alpha)$ é construído mantendo os primeiros $100 \cdot \alpha$ por cento dos caracteres do contexto original.
  • $\alpha = 1$: Contexto completo.
  • $\alpha = 0$: Sem contexto.
• Amostragem: Utilizando gpt-4o-mini com temperatura $T=0.7$, $m=10$ respostas estocásticas são geradas por entrada $(q, C)$. Para minimizar a correlação, cada amostra é obtida via uma chamada de API separada.
• Normalização: As respostas são normalizadas para lidar com variações lexicais menores (por exemplo, omissão de artigos), mas não para generalização semântica.

Medidas de Incerteza

Duas medidas de caixa-preta são estimadas a partir da distribuição empírica das $m$ respostas amostradas:

1. Confiança Baseada em Amostragem ($c$): A frequência empírica da resposta mais frequente ($c = \max_k p_k$). Isso mede a concentração modal.
2. Entropia de Resposta ($H$): Entropia de Shannon da distribuição de respostas normalizada ($H = -\sum p_k \log p_k$). Isso mede a dispersão entre respostas concorrentes.
3. Razão de Resolução ($\rho_R(\alpha)$): Uma métrica diagnóstica que estima a proporção da incerteza de base resolvida pelo nível de contexto $\alpha$.
   $$\rho_R(\alpha) = \frac{[H_0 - H(\alpha)]_+}{H_0}$$
   Onde $H_0$ é a entropia sob nenhum contexto. $\rho_R = 0$ implica que o contexto não fornece redução de incerteza; $\rho_R = 1$ implica que a incerteza é totalmente resolvida.

Índice de Dependência de Informação (IDI)

Definido como $\Delta = Acc_1 - Acc_0$, esta métrica quantifica a extensão até a qual a precisão preditiva depende da presença de contexto.

Principais Contribuições

1. Framework de Avaliação: Um framework principiado para avaliar a incerteza dos LLMs sob observabilidade parcial, fundamentado na exigência de que a incerteza deve aumentar à medida que a informação diminui.
2. Analogia com MI: Ligação explícita entre a amostragem repetida de LLMs e a Imputação Múltipla, motivando a entropia como um proxy de caixa-preta para incerteza preditiva induzida por informação faltante.
3. Ferramenta Diagnóstica: Introdução da Razão de Resolução $\rho_R(\alpha)$, uma heurística que mede a fração da incerteza de base resolvida pelo contexto, estimável exclusivamente a partir da amostragem de caixa-preta.
4. Validação Empírica: Evidência quantitativa demonstrando que a entropia rastreia a incerteza de informação faltante com mais fidelidade do que a confiança, com uma vantagem significativa na variância explicada (lacuna quadrática de $R^2$ de até 0,057).

Resultados

Taxonomia do Comportamento do Modelo

A análise de 400 contextos revelou três regimes distintos sob remoção de contexto:

1. Memorizado: Alta precisão com e sem contexto; entropia próxima de zero ($H_0 \approx 0$). O modelo depende de conhecimento paramétrico.
2. Viciado: Alta precisão com contexto, mas alta precisão com respostas incorretas sem contexto; entropia próxima de zero ($H_0 \approx 0$). O modelo está deterministicamente errado quando o contexto está faltando.
3. Incerto: Alta precisão com contexto, mas baixa precisão e alta entropia sem contexto. Este regime reflete incerteza genuína induzida por informação faltante.

• Distribuição: O regime "Incerto" foi o maior (43,8%), indicando que a maioria das perguntas requer contexto e admite respostas diversas quando ele está faltando.

Desempenho das Medidas de Incerteza

• Entropia vs. Confiança: À medida que o contexto é removido ($\alpha$ diminui), a precisão cai monotonicamente.
  • Entropia ($H$): Aumenta monotonicamente à medida que o contexto é removido, rastreando de perto a perda de precisão.
  • Confiança ($c$): Declina muito mais lentamente e permanece alta mesmo quando a precisão colapsa. No subconjunto sensível ao contexto, a precisão caiu para 0,05 enquanto a confiança permaneceu em 0,52.
• Poder Preditivo: A análise de regressão mostrou que a entropia explica consistentemente mais variância na precisão do que a confiança em todos os níveis de evidência.
  • Em $\alpha = 0.5$ (Amostra completa), a entropia explicou 24,3% da variância contra 18,6% para a confiança ($\Delta R^2 = 0,057$).
  • A entropia explicou aproximadamente 31% mais variância do que a confiança neste nível.
• Calibração: O gráfico de calibração (Precisão vs. Confiança) revelou excesso de confiança substancial que piorou à medida que o contexto foi removido. A entropia, por outro lado, comportou-se consistentemente com o critério MI.

Razão de Resolução

A Razão de Resolução $\rho_R(\alpha)$ mostrou que o contexto completo resolve aproximadamente 80% da incerteza de base na amostra completa. No subconjunto sensível ao contexto, $\rho_R(\alpha)$ previu a precisão monotonicamente, enquanto a confiança exibiu padrões não monotônicos impulsionados pelo regime "viciado".

Significado e Alegações

O artigo alega que a entropia de resposta é uma medida de incerteza de caixa-preta mais responsiva do que a confiança baseada em amostragem sob contexto incompleto.

• Alinhamento Teórico: A entropia comporta-se de acordo com o requisito bayesiano de que a incerteza deve escalar com a informação faltante. A confiança falha sistematicamente neste requisito, frequentemente permanecendo alta mesmo quando a distribuição subjacente é difusa (uma condição onde um imputador adequado deve sinalizar alta incerteza).
• Utilidade Prática: As métricas propostas (Entropia e $\rho_R$) não requerem acesso aos detalhes internos do modelo (pesos, logits) ou classificadores de implicação. Elas são aplicáveis a qualquer LLM acessível via API.
• Implicações para o Design de LLMs: Os autores sugerem que o "excesso de confiança" observado no regime viciado pode decorrer da operação softmax, que concentra a massa de probabilidade na resposta modal. Eles propõem que a Correspondência de Média Preditiva (PMM) — amostragem de um pool de doadores implícito em vez de passar pelo softmax — poderia produzir incerteza melhor calibrada, alinhando o comportamento do LLM com a teoria adequada de imputação.

O artigo conclui que a importação de critérios de Imputação Múltipla para o cenário de LLMs fornece um padrão inspirado em teoria para avaliar a incerteza, independente de tarefas ou modelos específicos, e abre um canal entre a literatura estatística de dados faltantes e a pesquisa sobre incerteza em LLMs.