Partial Identification under Missing Data Using Weak Shadow Variables from Pretrained Models

Resumo Técnico: Uso de LLMs para Resultados Ausentes Não Aleatoriamente (MNAR): Uma Abordagem de Variável Sombra Fraca

1. Definição do Problema

O artigo aborda o desafio de estimar quantidades populacionais, especificamente a média do resultado $\theta = E[Y]$, quando os dados são Ausentes Não Aleatoriamente (Missing Not at Random - MNAR). Em muitos contextos digitais e de ciências sociais (ex: feedback de usuários, avaliações de atendimento ao cliente), a probabilidade de um resultado ser observado depende do próprio valor não observado. Por exemplo, usuários com opiniões extremas têm maior probabilidade de deixar feedback do que aqueles com experiências moderadas.

Sob MNAR, estimadores padrão baseados apenas em dados observados são viesados, e a média populacional não é identificada pontualmente sem suposições paramétricas fortes (ex: modelos de seleção de Heckman) ou condições restritivas de variáveis auxiliares (ex: variáveis sombra clássicas que exigem completude). Os autores propõem um framework de identificação parcial para caracterizar os limites aguçados (sharp bounds) do estimando sob suposições mínimas, enquanto utilizam previsões de aprendizado de máquina moderno para estreitar esses limites.

2. Metodologia

2.1. Identificação Parcial via Programação Linear (LP)
Os autores primeiro estabelecem um framework de base para identificar os limites aguçados da média do resultado sem informações auxiliares.

• Decomposição: A média populacional é decomposta em probabilidades conjuntas observadas $\alpha(y) = P(Y=y, R=1)$ e probabilidades de resposta não observadas $\pi(y) = P(R=1|Y=y)$.
• Conjunto Viável: Como $\pi(y)$ é desconhecido, os autores definem um conjunto viável de distribuições de probabilidade consistentes com os dados observados.
• Formulação de LP: O problema de encontrar os limites inferior e superior aguçados ($\theta_{min}, \theta_{max}$) é reformulado como um par de programas lineares. A função objetivo representa a média, e as restrições codificam a estrutura probabilística dos dados observados. Sem variáveis auxiliares, esses limites são derivados analiticamente e escalam linearmente com a probabilidade de ausência (missingness).

2.2. Variáveis Sombra Fracas
Para estreitar os limites de identificação, os autores introduzem Variáveis Sombra Fracas ($F$), como previsões de Grandes Modelos de Linguagem (LLMs).

• Definição: Uma variável $F$ é uma variável sombra fraca se satisfizer uma restrição de exclusão: $F \perp\!\!\!\perp R \mid Y, X$. Ou seja, condicional ao verdadeiro resultado $Y$ e covariáveis $X$, a variável sombra não fornece informação adicional sobre o mecanismo de ausência.
• Relaxamento da Completude: Ao contrário dos métodos de variáveis sombra clássicas, esta abordagem não exige uma condição de completude (que demanda que $F$ identifique totalmente a distribuição de $Y$). Isso permite o uso de preditores imperfeitos (como LLMs) que podem ter apenas correlações fracas com o resultado.
• LP Refinado: A inclusão de $F$ introduz restrições lineares adicionais à formulação de LP. A região de identificação aguçada é a interseção dos conjuntos viáveis definidos por essas restrições. Se a variável sombra for suficientemente informativa (satisfazendo uma condição de posto/rank), os limites colapsam para um único ponto (identificação pontual); caso contrário, permanecem como um intervalo estreitado.

2.3. Estimativa de Amostra Finita e Inferência
Estimadores de plug-in direto para os limites de LP são problemáticos em amostras finitas devido à potencial inviabilidade (restrições amostrais podem ser inconsistentes) e não suavidade (pequenas mudanças nas estimativas podem alternar as restrições ativas).

• Estimador Penalizado Localizado: Os autores propõem um programa linear penalizado localizado. Este método relaxa as restrições de igualdade adicionando um termo de penalidade $L_1$ ($K\|Aw - \beta\|_1$) e restringe as variáveis de decisão a um box limitado $[0, K]$. Isso garante a viabilidade e a continuidade de Lipschitz da função valor.
• Ajuste Baseado em Dados: Um algoritmo baseado em dados seleciona o raio de localização $K$ minimizando um "gap de certificação", garantindo que o estimador seja consistente com o alvo populacional enquanto evita variância desnecessária.
• Inferência por Subamostragem: Como a função valor da LP é não suave (devido a potenciais múltiplas soluções ótimas), métodos padrão de bootstrap falham. Os autores propõem um bootstrap de subamostragem (Politis e Romano, 1994) para construir intervalos de confiança válidos para os pontos da região de identificação. Este método contabiliza o comportamento de "troca de otimizador" inerente à LP.

2.4. Análise de Sensibilidade
O framework inclui uma análise de sensibilidade (Suposição 2) para quantificar a robustez contra violações da restrição de exclusão. Ao introduzir um parâmetro de sensibilidade $\rho$, os autores permitem que a suposição de independência condicional seja aproximadamente válida, expandindo a região de identificação monotonicamente conforme $\rho$ aumenta.

3. Principais Contribuições

1. Novo Framework de LP: O artigo introduz um framework de programação linear para identificação parcial sob MNAR que unifica configurações com e sem previsões auxiliares. Fornece soluções de forma fechada para o caso base e resultados analíticos sobre como sinais auxiliares estreitam os limites.
2. Variáveis Sombra Fracas: Os autores generalizam a abordagem de variável sombra ao relaxar a condição de completude. Isso permite o uso de sinais auxiliares "imperfeitos" (ex: previsões de LLM) que satisfazem a restrição de exclusão, mas podem não gerar identificação pontual por si só.
3. Estimativa e Inferência Robustas: O artigo desenvolve um estimador de amostra finita viável usando penalização localizada e estabelece um procedimento de inferência baseado em subamostragem. Esta abordagem garante taxas de convergência de $\sqrt{n}$ e regiões de confiança válidas, mesmo quando a LP subjacente possui múltiplas soluções ou quando os métodos de bootstrap padrão falham.

4. Resultados Experimentais

Os autores avaliam o método através de simulações e experimentos semissintéticos utilizando dados reais de diálogos de atendimento ao cliente (dataset USS).

• Simulações:

  • O estimador penalizado localizado atinge a taxa de convergência paramétrica de $\sqrt{n}$.
  • O selecionador baseado em dados para o raio de localização $K$ recupera consistentemente o raio populacional ótimo.
  • A inferência por subamostragem aproxima corretamente a distribuição limite não-Gaussiana do estimador, enquanto métodos de bootstrap padrão exibem viés significativo e cobertura incorreta (ex: 82% vs. 90% do alvo).

• Experimentos Semissintéticos (Variáveis Sombra baseadas em LLM):

  • Design de Prompt: O estudo testa várias estratégias de prompt de LLM (Digital Twin, Generic User, Service Auditor) para gerar variáveis sombra. Os resultados indicam que prompts despersonalizados e focados na tarefa (ex: "Service Auditor" avaliando "Goal Completion") oferecem o melhor equilíbrio entre relevância (correlação com $Y$) e independência (satisfazendo a restrição de exclusão).
  • Desempenho: A incorporação de variáveis sombra fracas baseadas em LLM reduziu a largura dos intervalos de identificação em 83% em comparação com o baseline de LP sem variáveis sombra.
  • Comparação: O método proposto (usando o ponto médio do intervalo da variável sombra) alcançou um erro absoluto médio de 0,06, superando significativamente os baselines clássicos de MNAR, como Complete Case Analysis (CCA), Imputação Ingênua, Modelos de Seleção de Heckman e modelos de Mistura de Padrões (Pattern-Mixture). Em termos de estimativa de conjunto (distância de Hausdorff para a verdade), o método de variável sombra reduziu a distância de 1,07 (LP agregado) para 0,18.

5. Significância e Alegações

O artigo afirma que seu framework oferece uma alternativa robusta e tratável aos métodos tradicionais de MNAR.

• Robustez: Ao adotar uma perspectiva de identificação parcial, o método evita os riscos de erro de especificação de modelo inerentes aos modelos de seleção paramétricos.
• Praticidade: Aproveita a crescente disponibilidade de LLMs como sinais auxiliares sem exigir que sejam preditores perfeitos. A natureza "fraca" da suposição de variável sombra torna-a mais plausível na prática do que as condições estritas de completude dos métodos clássicos.
• Validade: O procedimento de inferência proposto fornece garantias de cobertura válidas para a região de identificação, abordando os desafios estatísticos impostos pela não suavidade dos estimadores de LP.

Os autores concluem que mesmo previsões de LLM binárias ou de baixa dimensão podem estreitar significativamente os limites de identificação, tornando esta abordagem altamente valiosa para a avaliação de plataformas e pesquisa em ciências sociais onde o feedback é sistematicamente ausente.