Partial Identification under Missing Data Using Weak Shadow Variables from Pretrained Models

Resumen Técnico: Uso de LLMs para Resultados No Perdidos al Azar (MNAR): Un Enfoque de Variable Sombra Débil

1. Declaración del Problema

El artículo aborda el desafío de estimar cantidades poblacionales, específicamente la media del resultado $\theta = E[Y]$, cuando los datos presentan un patrón de No Pérdida al Azar (MNAR, por sus siglas en inglés). En muchos contextos digitales y de ciencias sociales (por ejemplo, comentarios de usuarios, reseñas de servicio al cliente), la probabilidad de que se observe un resultado depende del valor no observado en sí mismo. Por ejemplo, los usuarios con opiniones extremas tienen más probabilidades de dejar comentarios que aquellos con experiencias moderadas.

Bajo MNAR, los estimadores estándar basados únicamente en los datos observados están sesgados, y la media poblacional no es identificable puntualmente sin supuestos paramétricos fuertes (a menudo inverificables, como los modelos de selección de Heckman) o condiciones restrictivas de variables auxiliares (como las variables sombra clásicas que requieren completitud). Los autores proponen un marco de identificación parcial para caracterizar los límites agudos (sharp bounds) del estimando bajo supuestos mínimos, mientras aprovechan las predicciones de aprendizaje automático moderno para estrechar estos límites.

2. Metodología

2.1. Identificación Parcial mediante Programación Lineal (LP)
Los autores establecen primero un marco de referencia para identificar los límites agudos de la media del resultado sin información auxiliar.

• Descomposición: La media poblacional se descompone en probabilidades conjuntas observadas $\alpha(y) = P(Y=y, R=1)$ y probabilidades de respuesta no observadas $\pi(y) = P(R=1|Y=y)$.
• Conjunto Factible: Dado que $\pi(y)$ es desconocido, los autores definen un conjunto factible de distribuciones de probabilidad consistentes con los datos observados.
• Formulación de LP: El problema de encontrar los límites inferior y superior agudos ($\theta_{min}, \theta_{max}$) se reformula como un par de programas lineales. La función objetivo representa la media, y las restricciones codifican la estructura probabilística de los datos observados. Sin variables auxiliares, estos límites se derivan analíticamente y escalan linealmente con la probabilidad de pérdida de datos.

2.2. Variables Sombra Débiles
Para estrechar los límites de identificación, los autores introducen Variables Sombra Débiles ($F$), tales como las predicciones de Modelos de Lenguaje de Gran Escala (LLMs).

• Definición: Una variable $F$ es una variable sombra débil si satisface una restricción de exclusión: $F \perp\!\!\!\perp R \mid Y, X$. Es decir, condicionado al verdadero resultado $Y$ y a las covariables $X$, la variable sombra no proporciona información adicional sobre el mecanismo de pérdida.
• Relajación de la Completitud: A diferencia de los métodos de variables sombra clásicos, este enfoque no requiere una condición de completitud (que exige que $F$ identifique completamente la distribución de $Y$). Esto permite el uso de predictores imperfectos (como los LLMs) que pueden estar solo débilmente correlacionados con el resultado.
• LP Refinado: La inclusión de $F$ introduce restricciones lineales adicionales a la formulación de LP. La región de identificación aguda es la intersección de los conjuntos factibles definidos por estas restricciones. Si la variable sombra es suficientemente informativa (satisfaciendo una condición de rango), los límites colapsan a un único punto (identificación puntual); de lo contrario, permanecen como un intervalo estrechado.

2.3. Estimación de Muestra Finita e Inferencia
Los estimadores de inserción (plug-in) directos para los límites de LP son problemáticos en muestras finitas debido a la posible inviabilidad (las restricciones de la muestra pueden ser inconsistentes) y la falta de suavidad (pequeños cambios en las estimaciones pueden cambiar las restricciones activas).

• Estimador Penalizado Localizado: Los autores proponen un programa lineal penalizado localizado. Este método relaja las restricciones de igualdad añadiendo un término de penalización $L_1$ ($K\|Aw - \beta\|_1$) y restringe las variables de decisión a un cuadro acotado $[0, K]$. Esto garantiza la viabilidad y la continuidad de Lipschitz de la función de valor.
• Ajuste Basado en Datos: Un algoritmo basado en datos selecciona el radio de localización $K$ minimizando una "brecha de certificación", asegurando que el estimador sea consistente con el objetivo poblacional evitando la varianza innecesaria.
• Inferencia por Submuestreo: Debido a que la función de valor de la LP no es suave (debido a la posibilidad de múltiples soluciones óptimas), los métodos estándar de bootstrap fallan. Los autores proponen un bootstrap de submuestreo (Politis y Romano, 1994) para construir intervalos de confianza válidos para los extremos de la región de identificación. Este método tiene en cuenta el comportamiento de "cambio de optimizador" inherente a la LP.

2.4. Análisis de Sensibilidad
El marco incluye un análisis de sensibilidad (Supuesto 2) para cuantificar la robustez frente a violaciones de la restricción de exclusión. Al introducir un parámetro de sensibilidad $\rho$, los autores permiten que el supuesto de independencia condicional se cumpla aproximadamente, expandiendo la región de identificación de forma monótona a medida que $\rho$ aumenta.

3. Contribuciones Clave

1. Nuevo Marco de LP: El artículo introduce un marco de programación lineal para la identificación parcial bajo MNAR que unifica entornos con y sin predicciones auxiliares. Proporciona soluciones de forma cerrada para el caso base y resultados analíticos sobre cómo las señales auxiliares estrechan los límites.
2. Variables Sombra Débiles: Los autores generalizan el enfoque de variables sombra al relajar la condición de completitud. Esto permite el uso de señales auxiliares "imperfectas" (por ejemplo, predicciones de LLM) que satisfacen la restricción de exclusión pero pueden no generar identificación puntual por sí mismas.
3. Estimación y la Inferencia Robustas: El artículo desarrolla un estimador de muestra finita factible utilizando penalización localizada y establece un procedimiento de inferencia basado en submuestreo. Este enfoque garantiza tasas de convergencia $\sqrt{n}$ y regiones de confianza válidas incluso cuando la LP subyacente tiene múltiples soluciones o cuando los métodos de bootstrap estándar fallan.

4. Resultados Experimentales

Los autores evalúan el método a través de simulaciones y experimentos semi-sintéticos utilizando datos reales de diálogos de servicio al cliente (conjunto de datos USS).

• Simulaciones:

  • El estimador penalizado localizado logra la tasa de convergencia paramétrica $\sqrt{n}$.
  • El selector basado en datos para el radio de localización $K$ recupera consistentemente el radio poblacional óptimo.
  • La inferencia por submuestreo aproxima correctamente la distribución límite no gaussiana del estimador, mientras que los métodos de bootstrap estándar exhiben un sesgo significativo y una cobertura incorrecta (por ejemplo, 82% frente al 90% objetivo).

• Experimentos Semi-Sintéticos (Variables Sombra basadas en LLM):

  • Diseño de Prompts: El estudio prueba varias estrategias de prompting de LLM (Gemelo Digital, Usuario Genérico, Auditor de Servicio) para generar variables sombra. Los resultados indican que los prompts despersonalizados y centrados en la tarea (por ejemplo, un "Auditor de Servicio" evaluando la "Cumplimiento de Objetivos") ofrecen el mejor equilibrio entre relevancia (correlación con $Y$) e independencia (satisfacer la restricción de exclusión).
  • Desempeño: La incorporación de variables sombra débiles basadas en LLM redujo la anchura de los intervalos de identificación en un 83% en comparación con el modelo base de LP sin variables sombra.
  • Comparación: El método propuesto (usando el punto medio del intervalo de la variable sombra) logró un error absoluto medio de 0.06, superando significativamente a los modelos MNAR clásicos como el Análisis de Caso Completo (CCA), la Imputación Ingenua, los Modelos de Selección de Heckman y los modelos de Mezcla de Patrones. En términos de estimación de conjuntos (distancia de Hausdorff hacia la verdad), el método de la variable sombra redujo la distancia de 1.07 (LP agregado) a 0.18.

5. Significado y Reivindicaciones

El artículo afirma que su marco ofrece una alternativa robusta y tratable a los métodos tradicionales de MNAR.

• Robustez: Al adoptar una perspectiva de identificación parcial, el método evita los riesgos de la especificación errónea de modelos inherentes a los modelos de selección paramétricos.
• Practicidad: Aprovecha la creciente disponibilidad de los LLMs como señales auxiliares sin requerir que sean predictores perfectos. La naturaleza "débil" del supuesto de la variable sombra hace que sea más plausible en la práctica que las estrictas condiciones de completitud de los métodos clásicos.
• Validez: El procedimiento de inferencia propuesto proporciona garantías de cobertura válidas para la región de identificación, abordando los desafíos estadísticos planteados por la falta de suavidad de los estimadores basados en LP.

Los autores concluyen que incluso las predicciones de LLM simples o de baja dimensión pueden estrechar significativamente los límites de identificación, lo que hace que este enfoque sea altamente valioso para la evaluación de plataformas y la investigación en ciencias sociales donde la retroalimentación falta sistemáticamente.