Resumen Técnico: Mezcla de Expertos de Cuello de Botella de Conceptos (M-CBEs)

Planteamiento del Problema

Los Modelos de Cuello de Botella de Conceptos (CBMs) han surgido como un enfoque prometedor para alinear los modelos de Aprendizaje Profundo con el razonamiento humano, descomponiendo las predicciones en dos etapas: un codificador de conceptos que mapea las entradas brutas a variables interpretables por humanos (conceptos), y un predictor de tareas que mapea estos conceptos a la salida final. Sin embargo, los CBMs existentes suelen restringir el predictor de tareas a una única función global con una forma funcional establecida a priori (por ejemplo, una única capa lineal o una expresión booleana fija).

Esta rigidez presenta dos limitaciones críticas:

1. Expresividad Limitada: Una única función global a menudo no logra capturar el proceso de generación concepto-tarea, potencialmente complejo, lo que conduce a una precisión predictiva subóoptima.
2. Interpretabilidad Inflexible: La interpretabilidad es inherentemente dependiente del usuario. Fijar la forma funcional (por ejemplo, forzar un modelo lineal cuando la relación es no lineal, o un modelo booleano cuando la relación es continua) puede sacrificar innecesariamente el rendimiento predictivo o no alinearse con los modelos mentales específicos de diferentes usuarios.

Los enfoques actuales suelen dirigir las entradas hacia mezclas de expertos (MoE) para mejorar la precisión, pero estos típicamente dirigen hacia predictores de caja negra o fijan la forma funcional de los expertos, fallando en abordar la optimización conjunta de la precisión y la interpretabilidad alineada con el usuario.

Metodología

Los autores proponen la Mezcla de Expertos de Cuello de Botella de Conceptos (M-CBEs), un marco unificado que generaliza los CBMs a lo largo de dos dimensiones:

1. Número de Expertos: En lugar de una única función global, el predictor de tareas se modela como una mezcla de $M$ funciones especializadas (expertos).
2. Forma Funcional: El marco permite el control explícito sobre la forma funcional de cada experto, que varía desde expresiones lineales simples hasta expresiones simbólicas complejas definidas por vocabularios de operadores especificados por el usuario.

Marco Central

Los M-CBEs representan el predictor de tareas como una variable aleatoria $T$ (un árbol de expresión) condicionada a la entrada $x$. La distribución conjunta se factoriza como:
$$p(y, c | x) = p(c | x) \sum_{m=1}^{M} p(m | x) p(y | c, t_m)$$
Donde:

• $p(c | x)$ es el codificador de conceptos.
• $p(m | x)$ es un selector (router) aprendible que asigna la entrada $x$ a un índice de experto específico $m$.
• $t_m$ es un árbol de expresión único y fijo asociado con el experto $m$.
• $p(y | c, t_m)$ es el predictor de tareas ejecutando la expresión $t_m$ seleccionada sobre los conceptos $c$.

Al imponer un conjunto finito de árboles de expresión, los M-CBEs garantizan la interpretabilidad global, permitiendo a los usuarios inspeccionar todas las rutas de razonamiento en un tiempo finito, a diferencia de los modelos que generan expresiones únicas para cada entrada (lo que resulta en una complejidad infinita).

Dos Instanciaciones Novedosas

El artículo introduce dos modelos específicos para explorar este espacio de diseño:

1. M-CBE Lineal (Lin-M-CBE):

   • Estructura: Restringe los árboles de expresión a una forma funcional lineal ($y = w^T c + b$).
   • Mecanismo: Aprende un conjunto finito de $M$ expresiones lineales distintas. El selector dirige las entradas al experto lineal más apropiado.
   • Objetivo: Proporciona un equilibrio robusto para tareas de clasificación de alta dimensión donde las combinaciones lineales de conceptos son suficientes pero un único modelo lineal global es insuficiente.

2. M-CBE Simbólico (Sym-M-CBE):

   • Estructura: Aprovecha la Regresión Simbólica (SR) para descubrir la estructura de los árboles de expresión.
   • Mecanismo: Los usuarios definen un vocabulario de operadores interpretables $W$ (por ejemplo, $\{+, -, \times, \sin, \exp\}$). El modelo primero entrena un "marcador de posición" de caja negra (por ejemplo, un MLP) para cada experto. Luego, se aplica la regresión simbólica a los subconjuntos de datos asignados a cada experto para destilar el árbol de expresión simbólica óptimo $t_m$ utilizando el vocabulario definido por el usuario.
   • Adaptabilidad: Soporta la adaptación post-hoc. Una vez entrenados el codificador y el selector, los usuarios pueden cambiar el vocabulario de operadores $W$ para generar nuevas expresiones simbólicas alineadas con su experiencia en el dominio sin reentrenar todo el modelo.

Contribuciones Clave

1. Marco Unificado: Los M-CBEs subsumen los métodos basados en conceptos existentes (como el CBM estándar, CMR, DCR) como casos especiales, exponiendo un espacio de diseño de dos dimensiones (número de expertos $\times$ forma funcional) ampliamente inexplorado.
2. Garantías Teóricas: Los autores proporcionan proposiciones que demuestran que:
   • Un único experto no lineal puede aproximar cualquier función continua (Aproximación Universal).
   • Una mezcla de expertos lineales puede aproximar cualquier función continua si $M$ es suficientemente grande, con errores de aproximación que disminuyen a medida que $M$ aumenta.
3. Interpretabilidad Global: Al aprender de un conjunto finito de expresiones, los M-CBEs evitan el problema de la "memoria infinita" de los predictores específicos de instancia (como LICEM o DCR), permitiendo la inspección y verificación total del modelo.
4. Adaptabilidad Post-hoc: Sym-M-CBE permite a los usuarios modificar la complejidad y el tipo de expresiones (por ejemplo, cambiar de formas trigonométricas a polinómicas) después del entrenamiento inicial, atendiendo a diversos niveles de experiencia del usuario.

Resultados Experimentales

El marco fue evaluado en cuatro conjuntos de datos sintéticos y cinco conjuntos de datos del mundo real (incluyendo MNIST-Arithm, dSprites-Exp, Pendulum, MAWPS, AWA2, CUB-200 y CIFAR-10) cubriendo tanto tareas de clasificación como de regresión.

• Intercambio de Precisión-Interpretabilidad: Explorar el espacio de diseño permite encontrar la frontera de Pareto.
  • El M-CBE Simbólico sobresale en tareas de regresión (por ejemplo, Pendulum), descubriendo expresiones compactas y de alta precisión que dominan la frontera de Pareto.
  • El M-CBE Lineal proporciona un equilibrio robusto para tareas de clasificación de alta dimensión, superando la lógica booleana rígida (CMR, DCR) que se degrada significamente a medida que aumenta el número de conceptos (por ejemplo, en CUB-200 y CIFAR-10).
• Escalabilidad: Las formas funcionales booleanas fallan al escalar con espacios de conceptos de alta dimensión debido a la fragilidad de las reglas conjuntivas. Las formas algebraicas (Lineal y Simbólica) mantienen un rendimiento robusto.
• Intervenibilidad:
  • Sym-M-CBE logra una intervenibilidad casi ideal en tareas de regresión, recuperando mecanismos de verdad fundamental (por ejemplo, $8.0 \sin(\theta) + 10.0$) y mostrando caídas agudas en el error cuando se corrigen los conceptos.
  • Lin-M-CBE es altamente sensible a las intervenciones en tareas de clasificación, superando a otros modelos interpretables globalmente.
• Manejo de Conceptos Incompletos: Aumentar el número de expertos ($M > 1$) compensa los cuellos de botella de conceptos incompletos o la lógica de tarea variable a través del espacio de entrada, recuperando el rendimiento predictivo donde los modelos de un solo experto fallan.
• Complejidad: Los M-CBEs frecuentemente igualan o exceden la precisión de los MLP de caja negra, siendo sustancialmente menos complejos (menos nodos en los árboles de expresión).

Significancia y Reivindicaciones

El artículo sostiene que los M-CBEs establecen un enfoque basado en principios para desarrollar modelos interpretables que se adapten tanto a los requisitos de la tarea como a las diversas necesidades del usuario.

• Democratización de la IA: Al permitir que los usuarios alineen los mecanismos predictivos del modelo con computaciones que pueden interpretar (desde expresiones matemáticas complejas para expertos en el dominio hasta polinomios simplificados para usuarios legos), el marco democratiza el acceso a la IA.
• IA Responsable: Avanza en el despliegue de una IA responsable al asegurar que las predicciones permanezcan fundamentadas en conjuntos finitos e inspeccionables de expresiones interpretables, abordando la opacidad de los modelos de caja negra en dominios de alto riesgo.
• Intercambio Óptimo: Los autores afirman que no existe una elección arquitectónica única universalmente superior; más bien, la capacidad de navegar el espacio de diseño de la cardinalidad de los expertos y la forma funcional es esencial para encontrar el compromiso óptimo entre precisión e interpretabilidad para un problema específico.

Limitaciones Reconocidas:

• La red selectora $p(m | x)$ opera como una caja negra, lo que limita la transparencia respecto a por qué se elige un experto específico.
• La regresión simbólica es computacionalmente intensiva, particularmente con vocabularios de operadores grandes.
• El número de expertos $M$ debe especificarse como un hiperparámetro, lo que requiere un equilibrio manual entre expresividad e interpretabilidad.