🤖 AI

The Confusion is Real: GRAPHIC -- A Network Science Approach to Confusion Matrices in Deep Learning

Este artículo presenta GRAPHIC, un método agnóstico a la arquitectura que aplica la ciencia de redes a matrices de confusión derivadas de capas intermedias de redes neuronales para visualizar y cuantificar sistemáticamente la dinámica de confusión de clases, la separabilidad lineal y los problemas del conjunto de datos a lo largo del proceso de entrenamiento.

Autores originales: Johanna S. Fröhlich, Bastian Heinlein, Jan U. Claar, Hans Rosenberger, Vasileios Belagiannis, Ralf R. Müller

Publicado 2026-05-13

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Johanna S. Fröhlich, Bastian Heinlein, Jan U. Claar, Hans Rosenberger, Vasileios Belagiannis, Ralf R. Müller

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás tratando de entender cómo un estudiante aprende a identificar diferentes animales en un álbum de fotos. Por lo general, solo miras su calificación final: "¡Obtuvo el 90% de respuestas correctas!". Pero eso no te dice por qué se equivocó en el 10%, ni si está confundiendo un gato con un perro porque se parecen, o simplemente porque el estudiante está adivinando.

Este artículo presenta una nueva herramienta llamada GRAPHIC (que es un acrónimo largo y sofisticado sobre grafos y confusión). Piensa en GRAPHIC como un "Mapa de Confusión" que te permite espiar el cerebro del estudiante mientras estudia, no solo al final.

Así es como funciona, usando analogías simples:

1. El "Examen Secreto" (El Clasificador Lineal)

Los modelos de aprendizaje profundo (los "estudiantes") tienen muchas capas ocultas donde procesan información. No podemos ver fácilmente qué están pensando en estas capas intermedias.

El Truco: Los investigadores toman las "notas" que el modelo escribe en estas capas intermedias y se las dan a un maestro muy simple y honesto (llamado un Clasificador Lineal).
El Examen: Este maestro pregunta: "¿Si solo viera estas notas, podría distinguir entre un 'pez plano' y un 'hombre'?".
El Resultado: Esto crea una Matriz de Confusión. Es una cuadrícula que muestra exactamente con qué frecuencia el modelo confunde una cosa con otra. Por ejemplo, podría mostrar que el modelo confunde "pez plano" con "hombre" el 20% de las veces.

2. Convertir la Cuadrícula en una "Red Social"

En lugar de solo mirar una hoja de cálculo aburrida de números, GRAPHIC convierte esta cuadrícula en un mapa de red social.

Los Nodos (Puntos): Cada categoría (como "Manzana", "Oso" o "Coche") es un punto en el mapa.
Las Aristas (Líneas): Si el modelo confunde a menudo dos cosas, una línea las conecta.
- Una línea gruesa significa que están muy confundidos (por ejemplo, el modelo piensa que un "pez plano" es un "hombre" con mucha frecuencia).
- Una línea fina significa que rara vez se confunden.
- Las flechas muestran la dirección del error (por ejemplo, "Hombre" rara vez se llama "Pez plano", pero "Pez plano" a menudo se llama "Hombre").

3. ¿Qué Descubrieron?

Al observar cómo cambia esta "red social" a medida que el modelo aprende, los investigadores encontraron algunas cosas sorprendentes:

Los "Niños Populares" del Primer Día: En el primer segundo del entrenamiento, unas pocas clases aleatorias (como "Teclado de computadora" o "Mar") se convirtieron en "hubs". El modelo adivinaba estos nombres para casi todo. Esto no fue porque el modelo fuera inteligente; fue simplemente por el orden en que se mostraron las fotos. Es como si un maestro te mostrara primero una foto de un teclado, podrías adivinar "teclado" para las siguientes 10 fotos solo porque estás atrapado en esa idea.
Formando Círculos Íntimos: A medida que avanzaba el entrenamiento, los puntos comenzaron a agruparse en "círculos íntimos" basados en el significado real. Los "Animales" comenzaron a juntarse, y los "Árboles" comenzaron a juntarse. El modelo estaba aprendiendo los conceptos, no solo memorizando píxeles.
El Misterio del "Pez Plano" vs. "Hombre": El mapa mostraba una línea fuerte conectando "Pez plano" y "Hombre". ¿Por qué? Los investigadores miraron las fotos y se dieron cuenta de que el conjunto de datos estaba sesgado. Muchas fotos de "pez plano" mostraban a pescadores sosteniendo su captura. El modelo aprendió: "Si veo a un humano sosteniendo un pez, es un pez plano". No era una similitud visual; era una pista contextual de un conjunto de datos defectuoso.
La Confusión entre "Bebé" vs. "Niño" vs. "Niña": El modelo se confundió mucho entre bebés, niños y niñas. Los investigadores pidieron a 31 humanos que etiquetaran estas mismas fotos, y ¡los humanos también se confundieron! Las fotos simplemente eran demasiado borrosas o las edades demasiado ambiguas. El modelo no era "tonto"; las etiquetas en el conjunto de datos simplemente estaban desordenadas.
El Sesgo del "Color de la Hoja": El modelo confundía los "arces" con los "robles". ¿Por qué? Las fotos de los arces se tomaron principalmente en otoño (hojas rojas/amarillas), mientras que los robles estaban verdes. El modelo aprendió a identificar árboles por la estación, no por el tipo de árbol.

4. La Sorpresa del "Transformador"

Los investigadores probaron dos tipos de modelos: uno estándar (ResNet) y uno más nuevo y complejo (un Transformador de Visión).

El Modelo Estándar: A medida que aprendía, se volvía mejor separando las cosas de forma lineal (como separar manzanas de naranjas) durante todo el proceso.
El Transformador: Comenzó mejorando en la separación de cosas, pero luego, en sus etapas tempranas, en realidad se volvió peor en separarlas antes de mejorar nuevamente. Es como si el Transformador tuviera que "desaprender" algunas reglas simples para aprender otras más complejas, mientras que el modelo estándar simplemente seguía apilando reglas una encima de la otra.

Resumen

GRAPHIC es como un microscopio para los "errores" que comete una red neuronal. En lugar de decir simplemente "el modelo tiene un 90% de precisión", dibuja un mapa de quién está confundiendo a quién. Esto ayuda a los investigadores a ver si el modelo está aprendiendo las cosas correctas, o si simplemente está adoptando malos hábitos (como confundir un pez con un hombre debido a un pescador en el fondo) o si el conjunto de datos en sí está roto (como fotos borrosas de bebés).

Convierte la "caja negra" de la IA en una red social visible de confusiones, revelando que a veces la confusión es real, y a veces es culpa de los datos.

Resumen Técnico: GRAPHIC – Un Enfoque de Ciencia de Redes para Matrices de Confusión en Aprendizaje Profundo

Definición del Problema

La Inteligencia Artificial Explicable (XAI) se ha vuelto crítica para abordar las preocupaciones de fiabilidad en el aprendizaje profundo, particularmente en dominios de alto riesgo como el diagnóstico médico y la conducción autónoma. Sin embargo, los métodos existentes de explicabilidad post-hoc enfrentan limitaciones significativas:

Métodos locales (p. ej., Grad-CAM, LIME) se centran en muestras individuales, lo que los hace vulnerables al ruido en las etiquetas y al sesgo de muestreo, y no logran proporcionar una visión global del comportamiento del modelo.
Métodos basados en conceptos (p. ej., TCAV) dependen de conceptos definidos por humanos, los cuales pueden no alinearse con las representaciones abstractas que realmente aprende la red.
Métodos estructurales globales a menudo se centran en la organización del espacio de características, pero carecen de una forma sistemática de visualizar la dinámica de confusión a nivel de clase a lo largo del tiempo.
Las visualizaciones de matrices de confusión existentes (p. ej., ConfusionFlow) suelen limitarse a la capa final y al modelo convergido, omitiendo la evolución de las dinámicas de aprendizaje y los comportamientos de las capas intermedias.

Existe una brecha específica en la construcción y análisis de matrices de confusión (MC) para capas ocultas de redes neuronales (RN) para comprender cómo evolucionan la separabilidad de clases y la confusión durante el entrenamiento.

Metodología: GRAPHIC

Los autores proponen GRAPHIC (Representación y Análisis Basados en Grafos de Predicciones e Interpretabilidad de Capas Ocultas mediante Confusión), un framework agnóstico a la arquitectura que trata la confusión a nivel de clase como un problema de ciencia de redes.

1. Generación de Matrices de Confusión para Capas Ocultas

Dado que las capas ocultas no producen predicciones de clase directamente, GRAPHIC emplea Clasificadores Lineales (CL) entrenados sobre los vectores de características de las capas intermedias.

Estrategia de Entrenamiento: Los CL se entrenan utilizando una función de pérdida de entropía cruzada personalizada que integra tanto las etiquetas verdaderas ( $y$ $y$ ) como las predicciones de la RN bajo análisis ( $\tilde{y}$ $\tilde{y}$ ):
$L(z^{(k)}, y, \tilde{y}) = \lambda L_{CE}(z^{(k)}, y) + (1 - \lambda) L_{CE}(z^{(k)}, \tilde{y})$
- $\lambda = 1$ (Etiquetas Verdaderas): Mide la separabilidad lineal intrínseca de las características en esa capa.
- $\lambda = 0$ (Etiquetas Predichas): Mide la "comprensión" actual del modelo y las dinámicas de entrenamiento. El CL se entrena para reproducir las predicciones de la RN, proporcionando información sobre el aprendizaje de clases sin depender de la verdad fundamental.
Construcción de la MC: Los CL entrenados se aplican a vectores de características no vistos (de una parte retenida del conjunto de entrenamiento o del conjunto de validación) para generar matrices de confusión normalizadas $C$ .

2. Representación en Grafos

Las matrices de confusión se interpretan como matrices de adyacencia de grafos dirigidos:

Nodos: Representan las clases en el conjunto de datos.
Aristas: Representan la probabilidad de que una muestra de la clase $i$ sea predicha como la clase $j$ .
Ponderación: La matriz de adyacencia se define como $C_{ad} = C - C \odot I_N$ , aislando las predicciones erróneas (elementos fuera de la diagonal) para centrarse en la confusión.

3. Análisis de Ciencia de Redes

Los autores aplican herramientas estándar de ciencia de redes a estos grafos:

Detección de Comunidades: Utilizando la maximización de la Modularidad ( $Q$ ) (mediante el algoritmo Louvain Dirigido) para identificar "Comunidades de Confusión" (CC)—grupos de clases que se confunden frecuentemente entre sí. Esto revela estructuras semánticas emergentes sin etiquetas predefinidas.
Asortatividad: Cálculo del coeficiente de asortatividad para medir qué tan bien la estructura de confusión aprendida se alinea con agrupaciones predefinidas (p. ej., "naturales" vs. "hechas por el hombre" o superclases del conjunto de datos).
Evolución Temporal: Análisis de estos grafos a través de épocas de entrenamiento y capas de red para rastrear la evolución de las dinámicas de aprendizaje.

Contribuciones Clave

Enfoque de Análisis Novel: GRAPHIC es el primer método agnóstico a la arquitectura que genera y analiza matrices de confusión para capas intermedias utilizando CL entrenados tanto con etiquetas verdaderas como predichas. Interpreta estas matrices como grafos dirigidos para aprovechar herramientas de ciencia de redes.
Diagnóstico de Conjuntos de Datos y Etiquetado: El método identifica problemas ocultos en los conjuntos de datos, ambigüedades en el etiquetado y sesgos que están oscurecidos por la gran cantidad de clases. Estos hallazgos se validan mediante un estudio humano.
Observación de Tendencias de Separabilidad Lineal: El estudio proporciona evidencia empírica sobre la separabilidad lineal de las capas intermedias, observando notablemente una disminución en la separabilidad en los decodificadores tempranos de los transformadores visuales, en contraste con el aumento monótono observado en las CNN.

Resultados Experimentales

Los experimentos se realizaron en ResNet-50 (CNN) y EffVit (Transformador de Visión) utilizando CIFAR-100 y Tiny ImageNet.

1. Evolución de las Comunidades de Confusión

Entrenamiento Temprano: Unas pocas clases dominantes actúan como "hubs de confusión" (p. ej., "teclado de computadora", "mar", "zarigüeya" en ResNet-50). Los hubs específicos dependen en gran medida del orden de los datos de entrenamiento, no solo de la inicialización del modelo.
Convergencia: A medida que avanza el entrenamiento, emergen comunidades semánticamente significativas (p. ej., animales, árboles, humanos). La confusión intergrupal disminuye y la modularidad aumenta.
Diferencias entre Capas: En ResNet-50, las capas más profundas muestran agrupaciones más claras y mayor modularidad. En EffVit, los decodificadores tempranos inicialmente ganan separabilidad lineal pero luego la pierden a medida que avanza el entrenamiento, lo que sugiere una dinámica de aprendizaje diferente en comparación con las CNN.

2. Problemas y Sesgos del Conjunto de Datos

GRAPHIC visualizó con éxito artefactos específicos del conjunto de datos:

Sesgo de Color de Hojas: Los arces y los robles se confundían frecuentemente. El análisis reveló que el modelo se basaba en los colores estacionales de las hojas (rojo/amarillo para el arce, verde para el roble) en lugar de características estructurales. Modificar los colores de las hojas en las imágenes de prueba corrigió las predicciones.
Sesgo Contextual: Se encontró una fuerte confusión no recíproca entre "pez plano" y "hombre". Esto se rastreó hasta imágenes del conjunto de datos donde pescadores sostenían peces planos, lo que hizo que el modelo asociara el contexto (sostener un pez) con la clase "hombre".
Ambigüedad en el Etiquetado: Clases como "niño", "niña" y "bebé" formaron una comunidad de confusión estrecha. Un estudio humano (31 participantes) confirmó que estas clases son inherentemente ambiguas incluso para los humanos debido a la calidad de la imagen y a los límites de definición de edad/género.
Problemas de Tiny ImageNet: Se identificaron confusiones entre "descapotable" y "coche deportivo", y entre "gato atigrado" y "gato egipcio", revelando superposiciones de etiquetas e inconsistencias en las definiciones dentro del conjunto de datos.

3. Separabilidad Lineal

ResNet-50: La separabilidad lineal (medida por la precisión del CL en etiquetas verdaderas) aumentó monótonamente con la profundidad y las épocas de entrenamiento, consistente con la literatura previa.
EffVit: Mientras que los decodificadores posteriores mostraron un aumento en la separabilidad, los decodificadores tempranos exhibieron una disminución en la separabilidad lineal después de un aumento inicial. Esto sugiere que los transformadores visuales pueden aprender la localidad y el contexto global de manera diferente a las CNN, potencialmente desaprendiendo la separabilidad lineal en etapas tempranas para formar representaciones más complejas.

Significado y Afirmaciones

El artículo afirma que GRAPHIC ofrece una nueva perspectiva sobre cómo aprenden las redes neuronales al descubrir "confusiones reales" mediante un enfoque estructural basado en datos.

Información Accionable: Al visualizar la confusión a nivel de clase, GRAPHIC ayuda a identificar sesgos en los conjuntos de datos y errores de etiquetado que las métricas estándar de precisión pasan por alto.
Comprensión Arquitectónica: Revela diferencias fundamentales en las dinámicas de aprendizaje entre CNN y Transformadores, específicamente en cuanto a la estabilidad de la separabilidad lineal en capas intermedias.
Confianza y Fiabilidad: El método proporciona visualizaciones interpretables que pueden guiar el diseño de conjuntos de datos y mejorar la fiabilidad del modelo, lo cual es crucial para aplicaciones de alto riesgo como la imagen médica.
Limitaciones: Los autores reconocen la sobrecarga computacional de entrenar CL en múltiples capas y épocas, aunque sugieren estrategias como la parada temprana y la reutilización de CL para mitigar esto. También señalan que interpretar el significado semántico de las confusiones observadas aún requiere análisis manual.

En resumen, GRAPHIC cierra la brecha entre la explicabilidad local y el análisis estructural global, utilizando la ciencia de redes para proporcionar una visión sistemática a nivel de clase del proceso de entrenamiento y la integridad del conjunto de datos.