Causal Inference with Generative Artificial Intelligence: Application to Texts as Treatments

Este artículo propone una metodología de Inferencia Impulsada por IA Generativa (GPI, por sus siglas en inglés) que aprovecha los modelos de lenguaje de gran tamaño para generar tratamientos y utilizar sus representaciones internas para una estimación de efectos causales más precisa y eficiente a partir de texto no estructurado, eliminando así la necesidad de aprender representaciones causales directamente de los datos y superando desafíos comunes como el confusión y las violaciones de la superposición.

Lo esencial

Imagina que eres un detective tratando de descubrir si un detalle específico en una historia cambia cómo se sienten las personas respecto a un personaje. Digamos que quieres saber: ¿Tener una trayectoria militar hace que los votantes aprecien más a un político?

El problema es que las historias de la vida real son complicadas. Un político con una trayectoria militar también podría ser, por casualidad, mayor, tener un nivel educativo diferente o escribir su biografía con un tono más emocional. Si solo comparas dos biografías al azar, no puedes saber si los votantes apreciaron al candidato por la parte militar o por la parte de la educación. En ciencia, llamamos a estos detalles extra complicados "confundidores".

Tradicionalmente, los investigadores han intentado solucionar esto usando computadoras para "leer" el texto y adivinar cuáles son los confundidores. Pero esto es como intentar limpiar una ventana embarrada adivinando dónde está la suciedad; es difícil, lento y a menudo inexacto.

Este artículo presenta una nueva herramienta llamada GPI (Inferencia Impulsada por IA Generativa). Así es como funciona, usando una analogía simple:

La Fotocopiadora Mágica (La IA Generativa)

En lugar de solo leer historias existentes, los investigadores usan una "Fotocopiadora Mágica" (un Modelo de Lenguaje Grande, o LLM) para escribir las historias por ellos.

1. El Prompt: El investigador le dice a la máquina: "Escribe una biografía de un político que tenga una trayectoria militar". Luego, le dice: "Escribe una biografía de un político que no tenga una trayectoria militar".
2. El Plano Secreto: Aquí reside el superpoder. Cuando esta IA escribe la historia, no solo escupe palabras; crea un "plano" interno y oculto (una representación matemática) de exactamente lo que escribió.
3. El Truco: Debido a que la IA escribió la historia, los investigadores tienen acceso a este plano perfecto y oculto. Saben exactamente qué puso la IA en el texto para que tratara sobre el ejército, y saben qué puso para todo lo demás (como la educación o el tono).

El "Desconfundidor" (El Filtro)

Los investigadores utilizan este plano perfecto para construir un filtro especial llamado Desconfundidor.

• La Forma Antigua: Imagina que intentas separar canicas rojas y azules que están pegadas entre sí. Tienes que adivinar cómo separarlas.
• La Forma GPI: Debido a que la IA escribió la historia, los investigadores tienen el "manual de instrucciones". Pueden mirar el plano y decir: "Bien, esta parte del plano es el ingrediente 'Militar', y esta otra parte es el ingrediente 'Educación'". Pueden aislar matemáticamente la parte militar sin alterar la parte de la educación.

Esto les permite preguntar: "Si mantenemos la educación y el tono exactamente iguales, pero solo cambiamos la parte militar, ¿cómo cambia la puntuación del votante?".

Por qué esto es mejor

El artículo afirma que este método es como actualizar de una calculadora de manivela a una supercomputadora por dos razones principales:

1. Precisión: Debido a que utilizan el verdadero plano interno de la IA en lugar de adivinar el significado del texto, obtienen una respuesta mucho más clara. En sus pruebas, su método tuvo menos "ruido" (error) y dio resultados más fiables que los mejores métodos existentes.
2. Velocidad: Los métodos antiguos son como intentar resolver un rompecabezas gigante mirando cada pieza una por una. El nuevo método es como tener la imagen en la caja; resuelve el problema aproximadamente 100 veces más rápido.

El Giro de la "Reutilización de Texto"

Los investigadores también descubrieron un atajo interesante. Si tomas una biografía existente y le pides a la IA que "reescriba esta misma historia exactamente", la IA crea un nuevo y perfecto plano para ese texto antiguo. Esto significa que ni siquiera necesitas generar nuevas historias desde cero; puedes usar datos viejos, pasarlos por la IA y obtener los mismos resultados de alta calidad.

La Conclusión

El artículo argumenta que al usar la IA Generativa no solo para generar texto, sino para comprender la estructura oculta de ese texto, finalmente podemos desenredar la compleja red de causa y efecto en las ciencias sociales.

• El Objetivo: Medir el efecto real de una cosa específica (como el servicio militar) sobre un resultado (como la felicidad del votante).
• El Problema: Otras cosas (confundidores) están mezcladas.
• La Solución: Usar la IA para generar o reescribir el texto, tomar su "plano secreto" y usarlo para separar perfectamente la causa del ruido.

Los autores probaron esto con encuestas reales de votantes y descubrieron que, efectivamente, la trayectoria militar parece hacer que los votantes sientan más calidez hacia los candidatos, y pudieron demostrar esto con mucha más confianza y velocidad que antes. También señalan que esta misma lógica podría funcionar para imágenes y videos en el futuro, siempre que la IA pueda generarlos con una precisión similar.

Resumen técnico

Resumen Técnico: Inferencia Causal con Inteligencia Artificial Generativa: Aplicación a Textos como Tratamientos

Planteamiento del Problema
El artículo aborda el desafío de estimar efectos causales cuando los tratamientos son objetos no estructurados y de alta dimensión, como los textos. En la inferencia causal tradicional con texto, los investigadores deben aprender una representación de baja dimensión de las características de confusión (por ejemplo, tono, longitud, temas específicos) a partir de los datos para ajustarlas. Los métodos existentes, como aquellos que utilizan embeddings de BERT o modelos de tópicos, intentan aprender estas representaciones directamente de los textos de tratamiento. Sin embargo, este proceso suele tener dificultades para desenredar la característica de tratamiento de interés específica (por ejemplo, antecedentes militares) de otras características de confusión correlacionadas, lo que conduce a estimaciones sesgadas y violaciones del supuesto de superposición (overlap). Además, aprender estas representaciones a partir de los datos es computacionalmente intensivo y puede no producir estimaciones causales precisas, particularmente cuando la confusión es fuerte.

Metodología: Inferencia Impulsada por GenAI (GPI)
Los autores proponen la metodología de Inferencia Impulsada por GenAI (GPI, por sus siglas en inglés), la cual aprovecha los modelos generativos profundos, específicamente los Modelos de Lenguaje de Gran Escala (LLMs), para mejorar la inferencia causal. La innovación central radica en utilizar la representación interna real de los textos generados directamente del LLM, en lugar de aprender una representación a partir de los datos.

1. Diseño Experimental:

   • Los investigadores utilizan un LLM para generar objetos de tratamiento (textos) basados en instrucciones (prompts) específicas. Alternativamente, se pueden "reutilizar" textos existentes instruyendo al LLM para que los reproduzca exactamente.
   • Se requiere que el LLM opere en un modo de decodificación determinista (por ejemplo, búsqueda codiciosa o greedy search con temperatura establecida en cero) para asegurar que la salida sea una función determinista de la representación interna.
   • La representación interna ($R_i$) del texto generado se extrae directamente de las capas ocultas del LLM.

2. Supuestos Clave:

   • Separabilidad (Supuesto 5): La característica del tratamiento ($T$) y las características de confusión ($U$) deben ser separables. Específicamente, $T$ no puede ser una función determinista de $U$, y $U$ no puede ser una función determinista de $T$. Esto implica que uno puede intervenir en la característica del tratamiento sin alterar las características de confusión.
   • Decodificación Determinista (Supuesto 6): La salida del modelo generativo es una función determinista de su representación interna, asegurando que el objeto de tratamiento dependa del prompt solo a través de esta representación.

3. Identificación y Estimación:

   • Identificación No Paramétrica: Bajo los supuestos de separabilidad y decodificación determinista, los autores demuestran la existencia de una función desconfounder (desconfundidor) $f(R_i)$ que resume las características de confusión. Este desconfundidor es una representación de menor dimensión de la representación interna $R_i$ que satisface la independencia condicional: $Y_i \perp R_i \mid T_i, f(R_i)$.
   • Estrategia de Estimación: Los autores emplean una arquitectura de red neuronal basada en TarNet para estimar simultáneamente el desconfundidor y la función de resultado condicional.
   • Aprendizaje de Doble Máquina (DML): Para obtener intervalos de confianza asintóticamente válidos, el método aplica DML. Crucialmente, el puntaje de propensión se modela como una función del desconfundidor estimado, no de la representación interna bruta. Esto evita la violación del supuesto de superposición que ocurriría si el puntaje de propensión se modelara directamente sobre la representación interna de alta dimensión (donde la característica del tratamiento es una función determinante).
   • Tratamientos Percibidos: La metodología se extiende a escenarios donde los encuestados perciben las características del tratamiento de manera diferente utilizando un enfoque de variables instrumentales, donde la característica de tratamiento real sirve como instrumento para la característica percibida.

Contribuciones Clave

• Utilización de Representaciones Internas Reales: A diferencia del trabajo previo que aprende representaciones a partir de los datos (por ejemplo, mediante embeddings de BERT), GPI extrae la verdadera representación vectorizada directamente de los LLMs de código abierto. Esto elimina la necesidad de aprender representaciones causales de los datos, mejorando tanto la precisión como la eficiencia computacional.
• Formalización de la Separabilidad: El artículo establece formalmente el supuesto de "separabilidad" como una condición necesaria para la identificación no paramétrica en este contexto, vinculándolo con los conceptos de desenredo (disentanglement) y el supuesto de superposición.
• Herramientas de Diagnóstico: Los autores proponen herramientas de diagnóstico, incluyendo el análisis de las distribuciones de los puntajes de propensión y la Puntuación de Independencia de Soporte (IOSS), para detectar posibles violaciones del supuesto de separabilidad.
• Estimación Eficiente: Al utilizar la representación interna y una arquitectura de red neuronal específica, el método evita la "maldición de la dimensionalidad" y las violaciones de superposición comunes en los métodos de aprendizaje de representación causal existentes.

Resultados
Los autores evalúan GPI a través de estudios de simulación basados en el experimento de perfiles de candidatos (Fong y Grimmer, 2016) y una aplicación empírica utilizando el mismo conjunto de datos.

• Estudios de Simulación:

  • Bajo el supuesto de separabilidad, GPI (usando tanto nuevos textos generados como reutilización de texto) demuestra un sesgo y error cuadrático medio (RMSE) significativamente menores en comparación con los métodos de vanguardia (Modelo de Resultado con BERT y DML con BERT).
  • GPI mantiene una cobertura adecuada de los intervalos de confianza del 95% en escenarios de confusión débil, moderada y fuerte. En contraste, los métodos basados en BERT sufren de una subcobertura severa o colapso bajo una confusión fuerte.
  • Eficiencia Computacional: GPI es más de diez veces más rápido que los estimadores basados en BERT.
  • Reutilización de Texto: El enfoque de "reutilización de texto" (regenerar textos existentes) produce una varianza (RMSE) menor que la generación de nuevos textos, probablemente debido a la consistencia de las representaciones internas.
  • Violación de Supuestos: Cuando el supuesto de separabilidad se viola (es decir, cuando las características de tratamiento y confusión están entrelazadas), todos los métodos, incluido GPI, funcionan deficientemente, resaltando la importancia del supuesto.

• Aplicación Empírica:

  • Aplicado al experimento de perfiles de candidatos, GPI estima un efecto positivo y estadísticamente significativo de los antecedentes militares en las evaluaciones de los votantes (ATE $\approx$ 4.85).
  • Los métodos competidores basados en BERT produjeron resultados conflictivos: uno arrojó un efecto negativo significativo y el otro un efecto positivo excesivamente grande (ATE $\approx$ 45.7), probablemente debido a violaciones de superposición.
  • El IOSS para GPI fue de 0.10, lo que indica un mejor soporte de superposición en comparación con el 0.41 de los métodos basados en BERT.

Significado y Reivindicaciones
El artículo afirma que GPI mejora significativamente la validez de la inferencia causal con tratamientos no estructurados al aprovechar las capacidades de la IA Generativa. La significancia principal radica en la capacidad de:

1. Desenredar las características del tratamiento de las características de confusión utilizando las verdaderas representaciones internas de los LLM.
2. Evitar la necesidad de aprender representaciones causales a partir de los datos, reduciendo así el error de estimación y el costo computacional.
3. Formalizar las condiciones (separabilidad) requeridas para una identificación válida, proporcionando una base teórica para el uso de GenAI en la inferencia causal.
4. Extender la inferencia causal a las características de tratamiento percibidas mediante variables instrumentales.

Los autores señalan que, aunque el enfoque es el texto, la metodología es aplicable a imágenes y potencialmente a videos, siempre que las representaciones internas puedan gestionarse eficazmente. Enfatizan que el método depende de la disponibilidad de LLMs de código abierto que permitan el acceso a las representaciones internas y a la decodificación determinista.