📊 statistics

What is the Causal Effect of a Conversation? Estimands and Inference in AI Mediated Conversations

Este artículo desarrolla un marco de resultados potenciales para la inferencia causal en conversaciones mediadas por IA, distinguiendo entre diversos objetos causales como las condiciones de asignación, los mensajes específicos y las características conversacionales realizadas para esclarecer los distintos estimandos y los supuestos de identificación requeridos cuando las conversaciones se generan de forma endógena en lugar de simplemente recibirse.

Autores originales: Adriane Fresh, Aiden Shin

Publicado 2026-07-07

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Adriane Fresh, Aiden Shin

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres un científico tratando de descubrir qué hace que las personas cambien de opinión. En el pasado, podrías haberles entregado un folleto o un guion fijo para leer. Eso es fácil de estudiar: todos reciben exactamente el mismo trozo de papel, así que si cambian de opinión, sabes que fue debido a ese papel.

Pero hoy en día, los investigadores están utilizando cada vez más las conversaciones como su "tratamiento". En lugar de un folleto, tienen a una persona (o una IA) hablando con el sujeto. El problema es que una conversación no es un folleto. Es un baile.

Este artículo sostiene que cuando estudias conversaciones, tienes que ser muy cuidadoso con qué estás midiendo realmente. Si no tienes cuidado, podrías pensar que estás midiendo el efecto de "ser educado", cuando en realidad solo estás midiendo el efecto de "ser asignado a un robot educado".

Aquí está el desglose de las ideas principales del artículo, utilizando algunas analogías cotidianas.

1. El Problema de la "Pista de Baile"

Imagina que quieres estudiar cómo la música afecta la forma en que la gente baila.

La Forma Antigua (Tratamiento Estático): Pones a todos en una habitación y reproduces la "Canción A" en bucle. Todos escuchan exactamente la misma canción. Si bailan de forma diferente, es por la canción. Fácil.
La Nueva Forma (Tratamiento Conversacional): Pones a la gente en una pista de baile con un compañero. Le dices al Compañero A que sea "amable" y al Compañero B que sea "grosero".

Aquí está el truco: El baile no es solo lo que hace el compañero; es lo que ambos hacen juntos.

Si unes a un compañero "grosero" con un bailarín tímido y educado, el bailarín tímido podría calmarlo. El baile termina siendo muy suave.
Si unes a ese mismo compañero "grosero" con un bailarín ruidoso y agresivo, el baile podría convertirse en una discusión a gritos.

Aunque ambos pares fueron asignados a la misma condición de "compañero grosero", la experiencia real (el baile) fue totalmente diferente. El artículo llama a esto endogeneidad: la conversación es creada conjuntamente por las dos personas. No puedes simplemente decir: "El compañero grosero causó la discusión", porque la discusión también dependió de quién era la otra persona.

2. Las Cinco Cosas Diferentes que Podrías Estar Midiendo

El artículo dice que los investigadores suelen confundir cinco cosas diferentes. Piensa en ellas como las capas de una cebolla:

La Asignación (El Boleto): Este es el boleto que le entregas al participante. "Recibes el Robot Amable". Esto es fácil de medir. Te dice qué sucede cuando asignas a alguien a una condición. Pero no te dice cómo se sintió realmente la conversación.
La Línea de Apertura (El Primer Paso): Esto es lo primero que dice el robot. "Hola, hablemos de política". Esto es específico, pero no tiene en cuenta cómo la conversación se desarrolla después de ese primer paso.
La Política (El Libro de Reglas): Esta es el conjunto de instrucciones que sigue el robot. "Sé siempre educado, pero si se enojan, mantén la calma". Esto es un "régimen". Es una buena medida de cómo funciona un sistema específico, pero sigue siendo un paquete de muchas conversaciones diferentes.
El Mensaje (El Paso Específico): Esta es una sola frase dicha durante el baile. "Entiendo tu punto". El artículo argumenta que esto es lo más difícil de estudiar. ¿Por qué? Porque esa frase significa algo totalmente distinto si la persona acaba de decir algo agradable frente a si acaba de gritarte. El contexto cambia el significado.
La Conversación Realizada (Todo el Baile): Esta es la interacción real, desordenada y única que ocurrió. Es lo único que realmente le importa al participante, pero es lo más difícil de estudiar científicamente porque no hay dos bailes que sean exactamente iguales.

3. El Problema del "Regalo Empaquetado"

El artículo utiliza una gran analogía para explicar por qué es difícil estudiar características específicas (como la "civilidad" o el "tono").

Imagina que envías una caja de regalo a alguien.

El Objetivo: Quieres saber si el lazo rojo de la caja lo hace feliz.
La Realidad: La caja también contiene una barra de chocolate, una nota y un juguete.
El Problema: Si le das a alguien una caja con un lazo rojo, también recibe el chocolate. Si le das una caja con un lazo azul, recibe un chocolate diferente.

No puedes saber si el lazo lo hizo feliz, o si fue el chocolate. En las conversaciones, la "civilidad" es el lazo, pero siempre viene empaquetada con otras cosas como la "longitud del discurso", la "intensidad emocional" o "quién está hablando". No puedes separarlas fácilmente.

4. Entonces, ¿Cómo lo Solucionamos?

El artículo no dice "dejen de estudiar las conversaciones". Dice: "Dejen de pretender que las conversaciones son folletos simples".

Para obtener respuestas claras, los investigadores deben cambiar sus experimentos:

Emparejar la Pregunta con el Diseño: Si quieres saber el efecto de una política, aleatoriza la política. Si quieres saber el efecto de un mensaje específico, tienes que aleatorizar ese mensaje específico en medio de una conversación (como pausar el baile y decirle al compañero: "Ahora di esta frase específica").
Aceptar la Verdad "Local": A veces, solo puedes medir el efecto en las personas que "cumplieron" con el tratamiento. Por ejemplo, si asignas un bot "grosero", pero una persona educada lo calma, no puedes medir el efecto de la grosería en esa persona. Solo puedes medirlo en las personas que realmente se metieron en una pelea.
Usar "Representaciones": En lugar de intentar comparar cada palabra de una conversación (lo cual es imposible porque todas son únicas), los investigadores deberían agrupar las conversaciones por su "vibra" (por ejemplo, "altamente hostil", "moderadamente amistosa") y comparar los mensajes dentro de esos grupos.

La Conclusión

Las conversaciones son poderosas porque están vivas. Reaccionan a ti. Pero debido a que reaccionan a ti, son desordenadas de estudiar.

Si tratas una conversación como un objeto estático (como un folleto), obtendrás la respuesta incorrecta. Podrías pensar que estás estudiando el efecto de la "incivilidad", cuando en realidad estás estudiando el efecto de la "incivilidad mezclada con la personalidad específica de la persona con la que estabas hablando".

Este artículo proporciona un mapa para ayudar a los investigadores a dejar de confundir el boleto (la asignación) con el viaje (la conversación real) y el paisaje (las características específicas como el tono o la longitud). Nos dice que para entender cómo las conversaciones cambian las mentes, tenemos que ser mucho más precisos sobre exactamente qué parte de la conversación estamos midiendo.

Resumen Técnico: Estimandos e Inferencia en Conversaciones Mediadas por IA

Planteamiento del Problema
Los politólogos utilizan cada vez más las conversaciones como tratamientos causales, que van desde cabildeadores humanos hasta inteligencia artificial (IA) generativa. Si bien la naturaleza interactiva y responsiva de las conversaciones ofrece una alta validez ecológica y escalabilidad (particularmente con la IA), introduce desafíos fundamentales para la inferencia causal. A diferencia de las intervenciones estáticas (por ejemplo, folletos o textos fijos), las conversaciones son producidas conjuntamente por el respondiente y el interlocutor. En consecuencia, la conversación realizada es endógena a las características del respondiente (por ejemplo, hostilidad, curiosidad o resistencia).

El problema central es que la asignación aleatoria a una condición conversacional (por ejemplo, una política de IA "civil" frente a una "incivil") identifica el efecto de la asignación, pero no identifica necesariamente el efecto de la conversación realizada o de características específicas dentro de ella (por ejemplo, el nivel de incivilidad). Debido a que la conversación se desarrolla dinámicamente en función de los aportes del respondiente, la variación en el tratamiento realizado está sistemáticamente relacionada con rasgos del respondiente que también afectan los resultados. Esto crea un confundimiento que los diseños aleatorios estándar no pueden resolver sin supuestos adicionales. El artículo argumenta que tratar la "conversación" como un tratamiento monolítico oscurece objetos teóricos distintos (asignación, política, mensaje, característica) que requieren diferentes definiciones causales y estrategias de identificación.

Metodología y Marco de Trabajo
Los autores desarrollan un marco de resultados potenciales adaptado para procesos secuenciales e interactivos. Formalizan la conversación como un proceso dependiente de la trayectoria que involucra:

Asignación ( $Z_i$ ): La condición aleatorizada (por ejemplo, el prompt o la política).
Política ( $\pi$ ): La regla que rige las respuestas del interlocutor ante el historial.
Historial ( $H_{it}$ ): La secuencia de mensajes previos.
Conversación Realizada ( $C_i$ ): El camino completo de mensajes generados por la interacción de la política, el historial y el comportamiento del respondiente ( $R_i$ ).
Características ( $D_i, B_i$ ): Características medidas y características latentes no medidas de la conversación (por ejemplo, tono, civilidad).

El marco distingue entre la intervención inducida por el diseño (lo que se aleatoriza) y la exposición realizada (lo que el respondiente realmente experimenta). Utiliza Grafos Acíclicos Dirigidos (DAGs) para ilustrar cómo los rasgos del respondiente ( $U_i$ ) influyen tanto en la trayectoria conversacional como en el resultado, creando endogeneidad incluso bajo asignación aleatoria.

El artículo define una taxonomía de estimandos causales, cada uno correspondiente a un objeto teórico diferente y que requiere distintos supuestos de identificación:

Efecto de la Asignación ( $\tau_Z$ ): El efecto de Intención de Tratar (ITT) de ser asignado a una condición. Se identifica bajo supuestos de aleatorización estándar (Consistencia, No Interferencia, Ignorabilidad, Positividad).
Efecto del Mensaje Inicial ( $\tau_{A0}$ ): El efecto del mensaje inicial. Es identificable si el mensaje es directamente aleatorizado, pero a menudo está confundido si el mensaje es un indicador de una característica latente.
Efecto de la Política ( $\tau_\pi$ ): El efecto de desplegar un régimen conversacional específico. Es identificable bajo la aleatorización de la política, asumiendo una implementación estable. Sin embargo, este es un efecto agregado que promedia sobre diversas trayectorias conversacionales.
Efecto del Mensaje ( $\tau_{A_t}$ ): El efecto de un mensaje específico condicionado al historial. Requiere Ignorabilidad Secuencial (el siguiente mensaje es como si fuera aleatorio condicionado al historial). El artículo argumenta que esto se viola con frecuencia porque el historial es endógeno a los rasgos del respondiente.
Efecto de la Característica ( $\tau_D$ ): El efecto de una característica latente (por ejemplo, la incivilidad). Requiere que la variación en la característica se desvincule de otros componentes no medidos del mensaje (sesgo de agrupación o bundling bias).
Efecto de la Conversación Realizada ( $\tau_C$ ): El efecto del camino completo. Requiere Ignorabilidad de la Conversación, la cual es generalmente no testeable y es poco probable que se cumpla, ya que las conversaciones son generadas conjuntamente.
Efecto de la Dosis ( $\tau_E$ ): El efecto de la exposición acumulada a una característica. Hereda el confundimiento presente en el estimando de nivel de característica.

Resultados Clave y Proposiciones
El artículo presenta varias proposiciones que formalizan los límites de la identificación en entornos conversacionales:

Proposición 1 (Sesgo de Selección): Comparar resultados a través de diferentes mensajes falla en aislar el efecto del mensaje porque los mensajes son generados por diferentes historiales, los cuales están impulsados por rasgos no observados del respondiente ( $U_i$ ).
Proposición 2 (Sesgo de Agrupación de Características): La variación en una característica de interés (por ejemplo, el tono) suele estar agrupada con otros aspectos no medidos del mensaje. Aleatorizar el mensaje no aísla el efecto de la característica.
Proposición 3 (Endogeneidad de las Trayectorias): La conversación realizada es tanto un tratamiento como un indicador de las características del respondiente. Comparar trayectorias realizadas confunde el efecto del tratamiento con la heterogeneidad del respondiente.
Proposición 4 (Herencia de la Dosis): Agregar las características en una medida de dosis no resuelve el confundimiento subyacente presente en el nivel de la característica.

Implicaciones para el Diseño de Investigación
Los autores proponen varias estrategias de diseño para alinear los estimandos con los objetivos de investigación:

Emparejar el Estimando con el Diseño: Los investigadores deben definir explícitamente si están interesados en la asignación, la política o las características específicas, y diseñar la aleatorización en consecuencia.
Aleatorización a Nivel de Turno: En lugar de aleatorizar toda la condición, los investigadores pueden aleatorizar mensajes específicos en turnos específicos (condicionados al historial). Esto crea un Efecto de Tratamiento Promedio Local (LATE) para estados conversacionales específicos, reduendo la endogeneidad.
Efectos de Tratamiento Promedio Condicional (CATE): Al condicionar sobre representaciones del historial (por ejemplo, un contexto "civil" frente a uno "hostil") en lugar del historial completo de alta dimensión, los investigadores pueden estimar cómo varían los efectos de los mensajes según el contexto.
Efecto Marginal Promedio de Componentes (AMCE): Agregar los CATEs a través de la distribución observada de los contextos conversacionales para resumir los efectos promedio de los mensajes.
Variables Instrumentales (LATE): Cuando la exposición realizada no puede ser manipulada directamente, la asignación puede servir como un instrumento para la característica realizada, identificando un Efecto de Tratamiento Promedio Local para los "cumplidores" (aquellos cuya conversación fue desplazada por la asignación).
Protocolos Restringidos: Restringir el espacio de mensajes (por ejemplo, respuestas de opción múltiple) para mejorar el soporte empírico de las comparaciones, aunque esto puede sacrificar la validez ecológica.

Significancia y Reivindicaciones
El artículo afirma proporcionar un lenguaje común para definir e interpretar efectos causales en entornos conversacionales, particularmente aquellos mediados por IA. Su contribución principal no es sugerir que los investigadores deban retirarse únicamente a los estimandos más fácilmente identificables (como el ITT), sino aclarar los compromisos (trade-offs) involucrados en el estudio de objetos teóricos complejos como la "persuasión" o la "deliberación".

Los autores argumentan que la brecha entre lo que se asigna y lo que se experimenta es una característica fundamental de la interacción social, no meramente un fallo metodológico. Al hacer explícitos los supuestos requeridos para pasar de la asignación a las características realizadas, el marco permite a los académicos:

Alinear mejor las estrategias empíricas con los objetivos teóricos.
Interpretar los hallazgos con la cautela apropiada respecto al confundimiento.
Innovar en el diseño de investigación (por ejemplo, la aleatorización secuencial) para apuntar a objetos causales específicos.

El artículo concluye que, si bien las conversaciones son poderosas porque son adaptativas y coproducidas, estas mismas características hacen que los efectos causales sean más difíciles de definir e identificar. El marco sirve para navegar esta complejidad en lugar de eliminarla.