🔬 physics

Interpreting "Interpretability" and Explaining "Explainability" in Machine Learning in Physics

Este artículo revisa los conceptos de interpretabilidad y explicabilidad en el aprendizaje automático para la física, definiéndolos como transparencia estructural y contenido científico respectivamente, mientras argumenta que son elecciones de modelado deliberadas sujetas a compensaciones más que propiedades inherentes de los modelos mismos.

Autores originales: Rikab Gambhir, Luisa Lucie-Smith, Jesse Thaler

Publicado 2026-06-26

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Rikab Gambhir, Luisa Lucie-Smith, Jesse Thaler

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

La visión general: Dos preguntas diferentes

Imagina que te entregan una misteriosa máquina de alta tecnología que predice el clima. Quieres saber dos cosas sobre ella:

¿Cómo funciona la máquina? (¿Cuáles son los engranajes, cables y palancas en su interior?)
¿Qué nos dice realmente la máquina sobre el mundo? (¿Coincide su predicción con lo que ya sabemos sobre meteorología?)

Los autores de este artículo argumentan que los científicos suelen confundir estas dos preguntas. Proponen una distinción clara:

La interpretabilidad trata sobre la estructura. Pregunta: "¿Puedo ver el interior de la máquina y entender cómo giran los engranajes para hacer una predicción?"
La explicabilidad trata sobre el contenido. Pregunta: "¿Tiene sentido la respuesta de la máquina cuando la comparo con el mapa del mundo que ya poseo?"

Los compromisos (Trade-offs): La "Navaja Suiza" frente al "Destornillador"

El artículo explica que normalmente no se pueden tener las dos mejores cosas al mismo tiempo. Tienes que elegir tu herramienta según el trabajo.

1. Interpretabilidad frente a Expresividad (La "Herramienta Simple" frente a la "Herramienta Eléctrica")

La analogía: Piensa en un destornillador sencillo (Interpretable) frente a una compleja navaja suiza programable con mil accesorios (Expresiva).
El compromiso: Un destornillador es fácil de entender; sabes exactamente qué hace. Pero solo puede apretar tornillos. Una navaja suiza puede hacer casi cualquier cosa (cortar, atornillar, serrar, abrir botellas), pero si miras en su interior, es un enredo de engranajes y resortes muy difícil de descifrar.
El punto del artículo: En física, los modelos simples (como las leyes de Newton) son como destornilladores: fáciles de entender pero limitados. Los modelos complejos de Aprendizaje Automático (ML) son como la navaja suiza: pueden resolver problemas increíblemente difíciles, pero a menudo son "cajas negras" donde no podemos ver cómo funcionan.

2. Explicabilidad frente a Adaptabilidad (El "Mapa Rígido" frente al "GPS Flexible")

La analogía: Imagina un mapa impreso de una ciudad (Explicable) frente a un GPS que aprende de la ruta de cada conductor en tiempo real (Adaptable).
El compromiso: El mapa impreso se basa en carreteras y reglas conocidas. Si ves una carretera nueva en el mapa, es un error. Es muy "explicable" porque sigue las reglas de la ciudad. El GPS, sin embargo, puede adaptarse a atascos, construcciones y desvíos instantáneamente. Pero debido a que cambia tanto según los datos, es difícil explicar por qué eligió una ruta específica en un momento determinado.
El punto del artículo: Si quieres un modelo que se ajuste perfectamente a cualquier dato (Adaptabilidad), pierdes la capacidad de explicarlo mediante la física conocida. Si quieres un modelo que siga estrictamente la física conocida (Explicabilidad), podría fallar al ajustarse a datos nuevos y extraños.

¿Cuándo necesitas cada una?

El artículo dice que no siempre necesitas ambas. Depende de lo que estés intentando hacer.

Cuando NO necesitas Interpretabilidad:
- El trabajo de "Sustituto" (Surrogate): Imagina que tienes una simulación super lenta y compleja que tarda una semana en ejecutarse. Entrenas a una IA rápida para que la imite. No te importa cómo lo hace la IA (Interpretabilidad); solo te importa que dé la misma respuesta que la simulación lenta y que se ejecute en un segundo.
- El trabajo de "Referencia" (Benchmark): Si solo estás intentando ganar una competición para ver quién tiene la puntuación más alta, podrías usar un modelo de "caja negra". Mientras gane, no necesitas saber cómo piensa.
Cuando SÍ necesitas Interpretabilidad:
- Confianza: Si un modelo hace una predicción extraña, necesitas ser capaz de mirar dentro y decir: "Ah, ya veo, se confundió debido a esta entrada específica".
- Eficiencia: A veces, entender los "engranajes" permite construir una versión más simple y rápida de la máquina.
Cuando SÍ necesitas Explicabilidad:
- Descubrimiento: Si tu modelo encuentra algo nuevo, debes ser capaz de decir: "Este nuevo patrón coincide con la teoría de X". Si no puedes conectar el resultado con el conocimiento existente, es solo una lista de números, no un descubrimiento.
- Validación: Necesitas demostrar que el modelo no está simplemente memorizando los datos (como un estudiante que memoriza respuestas) sino que realmente entiende las reglas del universo.

El enfoque "Por Diseño" frente al "Después de los Hechos"

El artículo analiza dos formas de obtener estas cualidades:

Intrínseca (Por Diseño): Construyes la máquina con los "engranajes" visibles desde el principio.
- Analogía: Construir una casa con paredes de cristal para poder ver la fontanería.
- Ejemplo: Usar una ecuación simple o un modelo que obligue a la IA a seguir las leyes de la física (como la conservación de la energía) mientras aprende.
Post-hoc (Después de los Hechos): Construyes primero una máquina compleja y luego intentas tomar una foto del interior para ver cómo funciona.
- Analogía: Desmontar un motor complejo después de haber sido construido para dibujar un diagrama de cómo se mueven los pistones.
- Ejemplo: Usar herramientas que resaltan en qué partes de una imagen miró la IA para tomar una decisión. El artículo advierte que estas suelen ser solo aproximaciones y podrían no contar toda la verdad.

La lección más importante: Planifica antes de construir

Los autores enfatizan que la interpretabilidad y la explicabilidad son elecciones, no propiedades mágicas.

Especificación de la tarea: Antes de construir tu modelo, debes preguntarte: "¿Para qué sirve realmente este modelo?". Si solo intentas acelerar un cálculo, no necesitas un modelo transparente. Si intentas descubrir una nueva ley de la física, lo necesitas absolutamente.
Planificación de la intervención: Debes decidir de antemano qué harás si el modelo resulta confuso.
- Analogía: Si estás conduciendo un coche, necesitas saber qué harás si se enciende la luz del motor. ¿Te detienes? ¿La ignoras? Si no tienes un plan, ver la luz es inútil.
- El artículo advierte contra el "sesgo de confirmación". Si miras el funcionamiento interno de un modelo después de ver el resultado, podrías engañarte a ti mismo pensando que tiene sentido solo porque quieres que lo tenga. Necesitas un plan para probar el modelo antes de mirar los resultados.

Conclusión

El artículo concluye que los modelos de Aprendizaje Automático en física no son fundamentalmente diferentes de los modelos "clásicos" que los científicos han utilizado durante siglos (como las leyes de Newton). La única diferencia es la escala.

Los modelos clásicos son simplemente muy simples, altamente interpretables y altamente explicables.
Los modelos de ML son enormes, complejos y a menudo opacos.

Pero las reglas de la ciencia se aplican a ambos. No puedes simplemente lanzar una "caja negra" a un problema científico y esperar un descubrimiento. Tienes que decidir qué necesitas (¿velocidad?, ¿confianza?, ¿descubrimiento?), elegir la herramienta adecuada y tener un plan para usar los resultados. Si lo haces, el ML se convierte en un instrumento poderoso para la ciencia, no solo en un truco de magia.

Resumen Técnico: Interpretando la "Interpretabilidad" y Explicando la "Explicabilidad" en el Aprendizaje Automático en Física

Planteamiento del Problema

La rápida adopción de modelos de aprendizaje automático (ML) altamente expresivos, como las redes neuronales profundas y los modelos de lenguaje extensos (LLM), en las ciencias físicas (alta energía, astrofísica, cosmología) ha planteado cuestiones fundamentales sobre su fiabilidad científica y su papel en el descubrimiento. Un desafío primordial es la confusión de términos como interpretabilidad, explicabilidad, confiabilidad y transparencia dentro de la comunidad de la física. A diferencia de los modelos científicos "clásicos" (por ejemplo, las Leyes de Newton, el Modelo Estándar), que a menudo se derivan de primeros principios y poseen una transparencia estructural inherente, los modelos modernos de ML son frecuentemente vistos como "cajas negras" opacas.

El artículo aborda la necesidad de definir y distinguir rigurosamente entre interpretabilidad y explicabilidad para determinar cuándo estas propiedades son necesarias, cómo pueden lograrse y qué compensaciones conllevan. Los autores argumentan que estas no son propiedades inherentes de los modelos, sino elecciones de modelado deliberadas que deben alinearse con objetivos científicos específicos.

Metodología y Marco de Trabajo

El artículo emplea una revisión conceptual y un marco de taxonomía en lugar de presentar nuevos datos experimentales o un algoritmo específico. La metodología consiste en:

Clarificación Deficional: Establecer definiciones distintas para la interpretabilidad y la explicabilidad, separando la estructura del modelo del contenido científico.
Construcción de la Taxonomía: Mapear los modelos en un espectro basado en su grado de interpretabilidad y explicabilidad, identificando cuatro cuadrantes: interpretable/explicable, interpretable/no explicable, no interpretable/explicable y ninguno de los dos.
Análisis de Compensaciones (Trade-offs): Analizar las tensiones inherentes entre:
- Interpretabilidad vs. Expresividad: La capacidad de entender la estructura de un modelo frente a su capacidad para ajustar patrones de datos complejos.
- Explicabilidad vs. Adaptabilidad: La capacidad de mapear un modelo con el conocimiento del dominio frente a su flexibilidad para ajustarse a distribuciones de datos arbitrarias.
Categorización de Técnicas: Clasificar los métodos para lograr estas propiedades en enfoques Intrínsecos (por diseño) y Post-Hoc (análisis después del entrenamiento).
Integración de Procesos: Enmarcar la interpretabilidad y la explicabilidad como prerrequisitos para la Especificación de Tareas y la Planificación de Intervenciones, argumentando que estas propiedades solo son valiosas si informan decisiones científicas posteriores.

Contribuciones Clave

1. Definiciones Distintas

Los autores proponen una dicotomía clara:

Interpretabilidad: Se refiere a la transparencia estructural de un modelo. Pregunta: "¿Podemos entender, aproximar o leer el funcionamiento interno del modelo $f_\theta$ y cómo llega a su salida?". Es agnóstica a los datos y se relaciona con la forma, los parámetros y el mecanismo computacional del modelo (por ejemplo, coeficientes lineales, divisiones de árboles de decisión).
Explicabilidad: Se refiere al contenido científico de un modelo. Pregunta: "¿Podemos mapear los parámetros o funciones aprendidas con el conocimiento previo del dominio?". Requiere una referencia a principios físicos previos, leyes o datos empíricos para proporcionar contexto y semántica.

2. El Paisaje de los Modelos

El artículo categoriza los modelos basándose en estas definiciones:

Interpretable y Explicable: Modelos de física clásica (gravedad newtoniana, Modelo Estándar) y modelos de ML simples (regresión lineal, árboles poco profundos).
Interpretable pero No Explicable: Modelos donde la estructura es clara (por ejemplo, inspeccionar núcleos de CNN) pero la conexión con la causalidad física o el conocimiento del dominio es débil o cualitativa.
Explicable pero No Interpretable: Modelos donde el resultado científico se comprende (por ejemplo, una predicción de QCD a 10 bucles o un flujo normalizador que la imita), pero el mecanismo computacional interno es demasiado complejo para ser mecánicamente transparente.
Ninguno de los dos: Cajas negras propietarias o modelos sin acceso a la estructura o al mapeo del dominio.

3. Compensaciones (Trade-offs)

Interpretabilidad vs. Expresividad: Los modelos altamente expresivos (por ejemplo, Transformers, Redes Neuronales Profundas) pueden aproximar vastas clases de funciones pero sacrifican la transparencia estructural. Por el contrario, los modelos altamente interpretables (por ejemplo, ajustes paramétricos) suelen estar limitados en su capacidad para capturar patrones de datos complejos y no lineales.
Explicabilidad vs. Adaptabilidad: Los modelos diseñados para una alta explicabilidad (que incorporan simetrías físicas, priors o primeros principios) a menudo tienen una adaptabilidad reducida a distribuciones de datos arbitrarias o inesperadas. Por el contrario, los modelos altamente adaptables (por ejemplo, tablas de búsqueda) pueden ajustarse a cualquier dato pero no ofrecen una estructura comprimible para explicar por qué el dato se comporta de esa manera.

4. Herramientas Metodológicas

El artículo revisa las herramientas para lograr estas propiedades:

Intrínseco (Por Diseño): Arquitecturas informadas por la física (por ejemplo, redes invariantes de Lorentz), aprendizaje de representaciones (por ejemplo, espacios latentes desentrelazados, SciNet), regresión simbólica y autoencoders dispersos (sparse autoencoders).
Post-Hoc: Herramientas basadas en métricas (valores de Shapley/SHAP, mapas de saliencia, LIME) y técnicas de destilación (entrenar un modelo "estudiante" más simple para imitar a un "maestro" complejo).

5. Especificación de Tareas y Planificación de Intervenciones

Una contribución central es el argumento de que la interpretabilidad y la explicabilidad solo tienen sentido cuando están ligadas a la Especificación de la Tarea (definir la pregunta científica y las propiedades deseadas) y la Planificación de la Intervención (definir qué acciones se tomarán basadas en la interpretación).

Los autores sostienen que si un modelo es interpretado pero no sigue una decisión posterior (por ejemplo, cambiar una hipótesis, ajustar incertidumbres, rechazar un modelo), el esfuerzo puede ser superfluo.
Advierten contra el sesgo de confirmación, enfatizando que los planes de intervención deben estar preespecificados para evitar la racionalización post-hoc de los resultados.

Resultados y Afirmaciones

El artículo no presenta resultados numéricos de un experimento específico, sino que ofrece un análisis estructurado del campo:

Universalidad del Problema: Los autores afirman que la interpretabilidad y la explicabilidad no son desafíos únicos del ML; los modelos clásicos enfrentan las mismas preguntas, diferenciándose solo en escala y complejidad.
Necesidad de Contexto: No existe ninguna aplicación científica donde tanto la interpretabilidad como la explicabilidad sean enteramente innecesarias. Sin embargo, el grado requerido varía según la tarea (por ejemplo, el descubrimiento científico requiere ambas; el modelado de sustitución para velocidad puede priorizar la explicabilidad sobre la interpretabilidad).
Estado Actual de la IA en la Física: El artículo afirma que, si bien el ML ha mejorado significativamente las mediciones y el potencial de descubrimiento (por ejemplo, el etiquetado de jets en el LHC), el campo aún no ha logrado ampliamente el "aprender de" el ML en el sentido de descubrir nuevas leyes físicas mediante IA explicable. La mayor parte del progreso sigue siendo en la mejora de sensibilidades y límites en lugar de revelar patrones hasta ahora desconocidos.
Filosofía de Diseño: Los autores concluyen que la interpretabilidad y la explicabilidad deben tratarse como elecciones de modelado deliberadas y no como propiedades inherentes. Abogan por diseñar modelos, funciones de pérdida y técnicas de entrenamiento que se alineen con objetivos científicos específicos, en lugar de tratar estas propiedades como una ocurrencia tardía.

Significancia

El artículo se posiciona como una guía fundacional para la comunidad de la física (específicamente dentro de la iniciativa VERaiPHY) para estandarizar el discurso en torno a la validación de modelos de ML. Su significancia radica en:

Desmitificar la Terminología: Proporcionar una distincción operativa rigurosa entre interpretabilidad (estructura) y explicabilidad (contenido), evitando la confusión de términos que obstaculiza la comunicación científica.
Cambiar el Paradigma: Mover la conversación de "¿cómo hacer transparentes las cajas negras?" a "¿qué elecciones de modelado se requieren para lograr objetivos científicos específicos?".
Establecer Estándares: Argumentar que para que el ML sirva como un instrumento genuino de conocimiento científico, los modelos deben estar sujetos a las mismas preguntas de validez, confianza y alineación con el dominio que los modelos clásicos.
Guía Práctica: Ofrecer un marco para que los investigadores decidan cuándo invertir en interpretabilidad/explicabilidad y cómo integrar estas consideraciones en el flujo de trabajo científico mediante la especificación de tareas y la planificación de intervenciones.

Los autores enfatizan que, aunque existen herramientas para el análisis post-hoc, el camino más robusto hacia adelante implica elecciones de diseño intrínsecas que incorporen el conocimiento físico directamente en la arquitectura del modelo, asegurando que los modelos resultantes no sean solo predictivos, sino científicamente fundamentados.