🤖 machine learning

GoT-CD: Graph-of-Thoughts Causal Discovery and the Fragility of Post-hoc Path-Specific Fairness Audits

Este artículo introduce GoT-CD, un marco de trabajo de Grafo de Pensamientos (Graph-of-Thoughts) que genera grafos causales estructuralmente competitivos mientras demuestra que incluso los métodos de descubrimiento de alta fidelidad pueden fallar en la recuperación de vías específicas necesarias para auditorías de equidad específica de ruta post-hoc precisas, resaltando así la necesidad crítica de evaluar el descubrimiento causal a través del lente de los requisitos de equidad de procesos posteriores.

Autores originales: Nitish Nagesh, Elahe Khatibi, Thomas Dean Hughes, Mahdi Bagheri, Pratik Gajane, Amir M. Rahmani

Publicado 2026-08-05

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Nitish Nagesh, Elahe Khatibi, Thomas Dean Hughes, Mahdi Bagheri, Pratik Gajane, Amir M. Rahmani

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres un detective tratando de resolver un misterio usando solo una foto borrosa y en blanco y negro de la escena del crimen. No puedes ver a los sospechosos con claridad, pero tienes que averiguar quién hizo qué a quién. En el mundo de la ciencia de datos, esto se llama descubrimiento causal. En lugar de realizar un experimento controlado donde pudieras observar cada movimiento, los científicos observan "datos observacionales" —como una pila de registros médicos o registros de tráfico— e intentan dibujar un mapa que muestre qué factores causan otros. Por ejemplo, ¿comer demasiada azúcar causa un dolor de cabeza, o simplemente están sucediendo al mismo tiempo?

Una vez que tienes este mapa, es posible que quieras verificar si es justo. Aquí es donde entra en juego la equidad específica de la ruta (path-specific fairness). Imagina un algoritmo de contratación que rechaza candidatos. Quieres saber: ¿los rechazó debido a sus habilidades (una razón legítima) o debido a su género o raza (una razón injusta)? Para responder a esto, necesitas rastrear la "ruta" específica en tu mapa desde la identidad de la persona hasta la decisión final. Si el mapa está mal, tu verificación de equidad es inútil. Podrías pensar que el algoritmo es justo cuando en realidad es sesgado, o viceversa. Este es el complejo rincón de la ciencia que explora este artículo: ¿cómo construimos el mejor mapa posible y cómo nos aseguramos de que ese mapa no nos engañe cuando intentamos verificar la equidad?

El artículo: GoT-CD y la trampa del "Falso Limpio"

Los autores de este artículo, Nitish Nagesh y su equipo, están abordando un problema que suena simple pero que es en realidad una trampa. Notaron que cuando los científicos usan Inteligencia Artificial (específicamente Modelos de Lenguaje Extensos, o LLM) para dibujar estos mapas causales, generalmente solo verifican si el mapa parece "estructuralmente correcto". Es como calificar el dibujo de una casa de un estudiante contando cuántas ventanas y puertas hay en los lugares correctos. Pero, ¿qué pasa si el estudiante dibujó una casa perfecta, pero olvidó dibujar la puerta principal? Si estás tratando de verificar si la casa es accesible para un usuario de silla de ruedas, esa puerta faltante es un desastre, incluso si el resto del dibujo es perfecto.

El artículo presenta un nuevo método llamado GoT-CD (Graph-of-Thoughts Causal Discovery). Para entender cómo funciona, imagina un equipo de tres detectives trabajando en el mismo caso, pero en lugar de discutir entre sí, cada uno escribe su teoría completa del crimen en un papel al mismo tiempo.

La forma antigua (Pareja o Recorrido): Los métodos de IA anteriores eran como detectives que solo miraban dos pistas a la vez ("¿A causa B?") o que construían la historia paso a paso, comprometiéndose con cada suposición de inmediato. Si cometían un error al principio, toda la historia se arruinaba y no podían volver atrás.
La forma de GoT-CD: Este método genera múltiples mapas completos a la vez. Luego, un "árbitro" estricto (una función de puntuación determinista) los verifica. Las mejores partes de los mejores mapas se fusionan, pero con una regla superimportante: no puedes inventar una nueva conexión que ningún detective haya propuesto. Esto evita que la IA invente relaciones falsas solo porque suenan plausibles. Finalmente, el equipo se asegura de que el mapa no tenga bucles (no puedes tener que A causa B, que causa C, que causa A), convirtiéndolo en un mapa de calles limpio y unidireccional llamado DAG (Grafo Acíclico Dirigido).

El equipo probó este nuevo método contra algoritmos matemáticos clásicos y otros métodos de IA utilizando cinco conjuntos de datos diferentes, incluyendo uno sobre la enfermedad de Alzheimer. Utilizaron una cantidad fija de datos (100 observaciones) y un modelo de IA específico (gpt-4o-mini) para mantener el campo de juego equilibrado.

El gran descubrimiento: El certificado de "Falso Limpio"
El hallazgo más sorprendente no es solo que GoT-CD dibuja mejores mapas; es lo que sucede cuando usas esos mapas para verificar la equidad. Los investigadores se centraron en un conjunto de datos de Alzheimer donde sabían con certeza que había una ruta injusta: Sexo → Volumen Cerebral → Puntuación MOCA (una prueba cognitiva). Sabían que el género influía en el volumen cerebral, lo que a su vez influía en la puntuación de la prueba.

Aquí está el giro:

Uno de los métodos de IA más antiguos (LLM-BFS) dibujó un mapa que parecía bastante bueno en general. Obtuvo una puntuación estructural (F1) de 0.649, lo cual es decente.
Sin embargo, cuando verificaron ese mapa en busca de la ruta injusta, esta estaba completamente ausente. El mapa no mostraba ninguna conexión entre el Sexo y la puntuación de la prueba.
Debido a que la ruta faltaba, la auditoría de equidad reportó un resultado de 0. Parecía un certificado de "limpieza", diciendo: "¡No se detectó injusticia!".
Pero esto era una mentira. La injusticia real era enorme (un valor de 0.572). La IA no encontró el sesgo porque olvidó dibujar el camino donde vivía el sesgo. No es que el sistema fuera justo; es que el mapa estaba roto.

En contraste, GoT-CD dibujó un mapa que no solo tenía la mejor puntuación estructural (0.757), sino que también encontró con éxito esa ruta injusta específica. Reportó la dirección correcta del efecto, mostrando que el sesgo efectivamente estaba allí.

Otro método, llamado GES, encontró la ruta pero añadió tantas rutas falsas adicionales que hizo que la injusticia pareciera siete veces más grande de lo que realmente era (un valor de 4.034 en lugar de 0.572).

Lo que esto significa para usted

El artículo sugiere que no podemos confiar simplemente en una "buena puntuación" en un mapa para decirnos si un sistema es justo. Si el mapa falta la ruta específica que conduce a un resultado sesgado, la verificación de equidad le dirá con confianza que todo está bien, incluso cuando no lo está. Esto es lo que los autores llaman un "certificado de falso limpio".

Argumentan que si están utilizando IA para construir estos mapas para cosas como decisiones médicas o de contratación, no deben mirar solo la precisión general. Necesitan verificar específicamente: "¿Encontró el mapa la ruta que nos importa?"

El estudio sugiere que GoT-CD es un fuerte contendiente porque utiliza un enfoque de "equipo de pensadores" para construir el mapa, asegurando que no se pierdan conexiones críticas ni se inventen falsas. Aunque los resultados se basan en simulaciones y conjuntos de datos específicos (como el ejemplo de Alzheimer), la lección es clara: en la carrera por construir una IA justa, un mapa bonito no es suficiente; necesitas que las rutas correctas estén dibujadas en él, o podrías certificar accidentalmente un sistema sesgado como justo.

Resumen Técnico: GoT-CD y la fragilidad de las auditorías de equidad de ruta específica post-hoc

1. Declaración del problema

El descubrimiento causal se utiliza cada vez más en entornos clínicos para apoyar el razonamiento de mecanismos y las auditorías de equidad de modelos predictivos. Sin embargo, existe una brecha crítica entre la precisión del descubrimiento estructural y la fiabilidad de las evaluaciones de equidad descendentes. Los estimandos de equidad contrafactual específica de ruta se definen en relación con un grafo causal suministrado; dependen enteramente de la existencia y la estructura de los caminos dirigidos desde un atributo protegido ( $S$ ) hacia un resultado ( $Y$ ).

Las prácticas de evaluación actuales para el descubrimiento causal dependen de métricas estructurales agregadas (p. ej., precisión, exhaustividad, F1, Distancia de Hamming Estructural) que ponderan todos los bordes por igual. Estas métricas no logran determinar si la subestructura específica requerida para una auditoría de equidad (la vía $S \to Y$ ) sobrevive al proceso de descubrimiento. En consecuencia, un método de descubrimiento puede lograr puntuaciones F1 estructurales competitivas y, aun así, fallar en la recuperación de la vía injusta crítica. Cuando dicha vía está ausente, la auditoría de equidad reporta un efecto cero con confianza ( $PSE|_{\cdot}| = 0$ ), lo cual es indistinguible en el resultado de un modelo genuinamente equitativo. Esto crea un certificado de "limpieza falsa" donde la omisión estructural se hace pasar por equidad.

2. Metodología: GoT-CD

Los autores presentan GoT-CD (Descubrimiento Causal de Grafo de Pensamientos), un método que redefine el descubrimiento causal como un problema de razonamiento de grafo completo en lugar de una secuencia de consultas locales. A diferencia de los enfoques de pares (que consultan pares de variables) o los enfoques de trayectoria (que expanden nodos secuencialmente), GoT-CD trata la unidad de razonamiento como un conjunto de bordes candidatos completo.

El flujo de trabajo de GoT-CD ejecuta una única pasada de un Grafo de Operaciones:

Generar: El Modelo de Lenguaje de Gran Escala (LLM) es instado con nombres de variables, descripciones y un preámbulo de dominio para generar $k$ grafos candidatos distintos (conjuntos de bordes) en paralelo.
Calificar: Una función de validez determinista, no basada en LLM, califica los candidatos. Penaliza variables no declaradas y bucles de autodirección, recompensa bordes bien formados, aplica un prior de densidad suave y añade un bono por aciclicidad.
KeepBestN: Los $N$ mejores candidatos (típicamente $N=2$ ) son retenidos.
Agregar: Los candidatos retenidos se fusionan bajo una restricción de unión estricta. Se instruye al modelo para que emita solo los bordes que aparecieron en al menos uno de los candidatos de entrada. Esto evita que el modelo sintetice bordes que "suenan plausibles" pero que ninguna rama de razonamiento propuso.
Mejorar: El grafo fusionado es refinado. El modelo puede introducir nuevos bordes solo si estos no crean ciclos con el núcleo ya aceptado.
Proyección Codiciosa (Greedy Projection): Un paso determinista final impone la aciclicidad mediante el recorrido de los bordes y la retención de estos solo si no forman un ciclo dirigido con los bordos previamente mantenidos. Esto asegura que la salida sea siempre un Grafo Acíclico Dirigido (DAG).

El método utiliza un protocolo bloqueado con $n=100$ observaciones y el motor de fondo gpt-4o-mini.

3. Contribuciones clave

El artículo realiza tres contribuciones primarias:

Algoritmo GoT-CD: Un método de descubrimiento causal donde la unidad de razonamiento es un conjunto completo de bordes candidatos, utilizando generación paralela, calificación determinista y una restricción de unión estricta para evitar la invención de bordes mientras se impone la aciclicidad.
Benchmarking Exhaustivo: Una comparación de GoT-CD contra cuatro líneas base clásicas (PC, GES, NOTEARS, DAGMA-linear) y tres líneas base de LLM (Pairwise, LLM-BFS, GoT-CD-BFS) a través de cinco benchmarks (Asia, Child, Alzheimer's, COVID-Respiratory, Sweden-Traffic).
Auditoría de Equidad de Ruta Específica Post-hoc: Un marco de evaluación aplicado al benchmark de Alzheimer (donde la ruta injusta de verdad fundamental es $Sexo \to Volumen Cerebral \to Puntuación MOCA$ ) para calificar los métodos no solo por su F1 estructural, sino por la recuperación literal de la vía específica $S \to Y$ .

4. Resultados

Bajo un protocolo bloqueado de $n=100$ :

Desempeño Estructural: GoT-CD produce DAGs válidos en los cinco benchmarks. Logra el mejor F1 de DAG entre los métodos de LLM en Asia (0.750), Alzheimer's (0.757) y COVID-Respiratory (0.688), superando a LLM-BFS en cuatro de cinco conjuntos de datos. Compite favorablemente con los métodos clásicos, aunque los métodos de relajación continua (NOTEARS, DAGMA) dominan en el conjunto de datos de Sweden-Traffic de tipo Gaussiano-lineal.
Validez de DAG: A diferencia de PC (cíclico en todos los conjuntos de datos) y GES (cíclico en cuatro), GoT-CD (y GoT-CD-BFS) devuelve DAGs de manera consistente, evitando la necesidad de romper ciclos mediante heurísticas antes del análisis de equidad.
Fidelidad de Equidad (Benchmark de Alzheimer):
- GoT-CD: Recupera la ruta injusta de verdad fundamental con el signo de efecto correcto ( $TE_{lin} = -0.580$ vs. el benchmark $-0.572$) y lidera en F1 estructural.
- LLM-BFS: A pesar de un F1 estructural competitivo (0.649), falla en recuperar cualquier vía $S \to Y$ . En consecuencia, reporta $PSE|_{\cdot}| = 0$ , produciendo un certificado de equidad de limpieza falsa.
- GES: Recupera la vía injusta pero infla la masa total de la ruta más de siete veces ( $PSE|_{\cdot}| = 4.034$ ) debido a ocho rutas espurias adicionales.
- Otros Métodos: PC, NOTEARS, DAGMA-linear y GoT-CD-BFS fallan en recuperar la vía $S \to Y$ , reportando efectos cero.

5. Significado y Reivindicaciones

El artículo argumenta que la fidelidad estructural no implica fidelidad de equidad. Un método puede ser estructuralmente preciso (alto F1) y, sin embargo, fallar en la recuperación de los bordes específicos requeridos para una auditoría de equidad, lo que conduce a conclusiones de "equidad" con alta confianza pero incorrectas.

Los autores sostienen que los procesos que encadenan el descubrimiento causal a la equidad de ruta específica deben:

Reportar la Recuperación de la Vía: Junto con la estimación de equidad, los procesos deben reportar explícitamente si se recuperó la subestructura crítica $S \to Y$ .
Reevaluar las Métricas de Descubrimiento: Los métodos de descubrimiento destinados a procesos de equidad deben evaluarse en los bordes de los que depende el análisis descendente, en lugar de basarse únicamente en el acuerdo estructural agregado.
Aprovechar el Razonamiento Global: Los resultados sugieren que el razonamiento global (GoT) es superior al de trayectoria local (BFS) o a las consultas por pares para preservar las estructuras relevantes para la equidad, ya que evita el "inundación de bordes" de los métodos de pares y la "propagación de errores irrevocables" de los métodos de trayectoria.

El artículo concluye que, si bien los priors de los LLM son efectivos en grafos compactos y ricos en conocimiento (como Alzheimer's), estos complementan en lugar de reemplazar a los métodos estadísticos (que sobresalen en datos Gaussianos-lineales), y que el trabajo futuro debería explorar variantes guiadas por puntuación y objetivos de descubrimiento conscientes de la equidad.