🤖 machine learning

Neural Additive and Basis Models with Feature Selection and Interactions

Este artículo propone la integración de una capa de selección de características entrenable en los Modelos Aditivos y de Base Neuronales para superar los cuellos de botella computacionales en entornos de alta dimensionalidad, permitiendo así un modelado eficiente de las interacciones de características mientras se mantiene la interpretabilidad y un rendimiento competitivo.

Autores originales: Yasutoshi Kishimoto, Kota Yamanishi, Takuya Matsuda, Shinichi Shirakawa

Publicado 2026-06-19

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Yasutoshi Kishimoto, Kota Yamanishi, Takuya Matsuda, Shinichi Shirakawa

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás tratando de predecir el resultado de un evento complejo, como si un paciente se recuperará o si se aprobará un préstamo. Tienes una lista masiva de pistas (características) para ayudarte a decidir.

El Problema: La "Caja Negra" frente a la "Caja Demasiado Pesada"
En el mundo de la Inteligencia Artificial, hay dos formas principales de resolver estos acertijos:

La Caja Negra (Redes Neuronales Profundas): Son increíblemente inteligentes y precisas, pero funcionan como un truco de magia. Introduces datos y sale una respuesta, pero nadie sabe cómo la máquina tomó esa decisión. En campos como la medicina o el derecho, esto es peligrooso porque necesitas confiar en el razonamiento.
La Caja Transparente (Modelos Aditivos Generalizados): Son como un equipo de especialistas. Cada especialista observa solo una pista (por ejemplo, "edad" o "ingresos") y da una puntuación. La respuesta final es simplemente la suma de todas estas puntuaciones. Es fácil de entender porque puedes ver exactamente cómo cada pista contribuyó. Sin embargo, las cajas transparentes tradicionales a menudo no son lo suficientemente inteligentes para manejar relaciones complejas entre pistas.

La Solución Existente: NAM y NBM
Los investigadores crearon los "Modelos Aditivos Neuronales" (NAM) y los "Modelos de Base Neuronal" (NBM). Piensa en esto como una actualización de la "Caja Transparente". En lugar de especialistas simples, utilizan diminutos cerebros de IA inteligentes (Redes Neuronales) para observar cada pista. Esto los hace tanto inteligentes como transparentes. Aún puedes ver cómo cada pista afecta el resultado.

El Cuello de Botella: La Crisis de las "Demasiadas Pistas"
Aquí es donde el método antiguo falla.

El Probleo de la Interacción: A veces, las pistas funcionan mejor juntas. Por ejemplo, "Edad" e "Ingresos" podrían predecir algo mejor cuando se analizan juntos en lugar de por separado. Para hacer esto, los modelos antiguos intentaban crear un pequeño cerebro de IA para cada posible par de pistas.
La Pesadilla Matemática: Si tienes 1,000 pistas, hay casi 500,000 pares posibles. Intentar entrenar 500,000 diminutos cerebros de IA al mismo tiempo es como intentar contratar a 500,000 empleados para que trabajen en una oficina pequeña. Esto bloquea la computadora, tarda una eternidad y se vuelve imposible de gestionar.
El Muro de la Alta Dimensionalidad: Cuando los conjuntos de datos se vuelven enormes (miles de pistas), los modelos antiguos simplemente dejan de funcionar. Se quedan sin memoria y tiempo.

La Nueva Solución: El "Selector Inteligente"
Los autores de este artículo proponen una solución simple pero poderosa: Selección de Características (Feature Selection).

Imagina que eres un detective con un tablero de evidencias masivo. En lugar de intentar analizar cada pieza de evidencia a la vez (lo cual es imposible), contratas a un Selector Inteligente.

Cómo funciona: El modelo comienza con un "menú" de todas las pistas posibles. Durante el entrenamiento, aprende a asignar un "peso" a cada pista.
El Filtro: Utiliza un filtro matemático especial (llamado entmax) que actúa como un tamiz. Mantiene las pistas más importantes y efectivamente "apaga" las que no sirven.
El Resultado: En lugar de intentar construir 500,000 cerebros de IA para cada par de pistas, el modelo solo construye cerebros para las 50 o 500 pistas y pares más importantes.

Los Beneficios

Velocidad: Debido a que el modelo ignora los datos basura, se ejecuta mucho más rápido. El artículo muestra que mientras los modelos antiguos fallan en conjuntos de datos con más de 1,000 pistas, los nuevos modelos (llamados NAM-FS y NBM-FS) los manejan sin problemas.
Interacciones: Le permite al modelo observar pares de pistas trabajando juntos (como "Edad + Ingresos") sin verse abrumado por las matemáticas.
Transparencia: Aunque está seleccionando las mejores pistas, sigue siendo transparente. Aún puedes ver exactamente qué pistas fueron elegidas y cómo influyeron en la decisión final.

Los Resultados
Los autores probaron esto en seis diferentes conjuntos de datos del mundo real con miles de pistas.

Rendimiento: Sus nuevos modelos fueron tan precisos, o incluso mejores, que los mejores modelos "transparentes" existentes.
Eficiencia: Fueron significativamente más rápidos y pudieron manejar tamaños de datos que los modelos antiguos ni siquiera podían tocar.
Comparación: También demostraron que dejar que el modelo aprenda qué pistas elegir durante el entrenamiento es mejor que intentar elegir las pistas manualmente antes de comenzar.

En Resumen
Este artículo introduce una forma de crear modelos de IA inteligentes y transparentes que pueden manejar cantidades masivas de datos. Lo logra enseñándole a la IA a ignorar el ruido y concentrarse solo en las pistas más importantes y sus relaciones, resolviendo el problema de los modelos que son o demasiado torpes para ser útiles o demasiado pesados para ejecutarse.

Problema
Las redes neuronales profundas (DNN) ofrecen altas capacidades de representación, pero a menudo carecen de interpretabilidad, lo que limita su uso en campos de alta fiabilidad como la medicina y el derecho. Aunque los Modelos Aditivos Generalizados (GAM) y sus variantes neuronales, el Modelo Aditivo Neuronal (NAM) y el Modelo de Base Neuronal (NBM), proporcionan un equilibrio entre interpretabilidad y rendimiento, enfrentan problemas significativos de escalabilidad. Las arquitecturas estándar de NAM y NBM asignan una red neuronal (NN) separada para cada característica de entrada. Al extenderse para capturar interacciones de pares de características (creando GA2Ms), el enfoque ingenuo requiere preparar funciones de forma para todos los pares posibles de características. Esto resulta en una complejidad computacional de $O(D^2)$ , donde $D$ es el número de características. En consecuencia, el entrenamiento de estos modelos en conjuntos de datos de alta dimensionalidad (por ejemplo, $D > 1,000$ ) se vuelve intratable debido al exceso de consumo de memoria y costos computacionales. Además, la gestión y visualización de miles de funciones de forma compromete la interpretabilidad que los GAM están diseñados para proporcionar.

Metodología
Los autores proponen incorporar un mecanismo de selección de características diferenciable directamente en el entrenamiento de NAM y NBM para resolver estos cuellos de botella. Los modelos propuestos, denominados NAM-FS y NBM-FS, introducen una capa de selección de características que selecciona dinámicamente un número predefinido de características individuales ( $K_1$ ) y pares de características ( $K_2$ ) durante el proceso de entrenamiento.

Los componentes técnicos clave incluyen:

Selección Diferenciable: En lugar de una selección de características discreta, que no es diferenciable, los autores utilizan entmax (una versión generalizada de softmax y sparsemax) para relajar el proceso de selección. Esto permite al modelo optimizar los pesos de selección de características mediante el descenso de gradiente estocástico (SGD) de manera integral (end-to-end).
Recocido de Temperatura (Temperature Annealing): Se introduce un parámetro de temperatura $\tau$ que se somete a recocido durante el entrenamiento. A medida que $\tau$ disminuye, la salida de entmax se aproxima a un vector one-hot, fijando efectivamente las características seleccionadas para las funciones de forma.
Arquitectura: Los modelos reemplazan el conjunto completo de $D$ (o $D(D-1)/2$ ) funciones de forma con un conjunto fijo y más pequeño de $K_1$ redes neuronales univariantes y $K_2$ bivariantes. La entrada a estas redes es una combinación ponderada de las características originales determinada por los pesos de selección aprendidos.
Optimización de Implementación: Los autores optimizaron la implementación de las capas NAM utilizando torch.bmm (producto de matriz-matriz por lotes) en PyTorch, logrando una aceleración de 2 a 6 veces en comparación con las implementaciones anteriores de convolución 1-D.

Contribuciones Clave

Integración de Selección de Características: El artículo introduce un mecanismo de selección de características simple y end-to-end para NAM y NBM, permitiendo su aplicación en conjuntos de datos de alta dimensionalidad donde las versiones vanilla fallan.
Escalabilidad con Interacciones: El método permite la incorporación eficiente de interacciones de pares de características (estilo GA2M) incluso en entornos de alta dimensionalidad al limitar el número de términos de interacción a un $K_2$ manejable.
Eficiencia Computacional: Los modelos propuestos reducen significativamente el número de parámetros entrenables y las operaciones de multiplicación-acumulación (MACs), lo que resulta en un mayor rendimiento (throughput) en comparación con las variantes vanilla de NAM, NBM y sus variantes basadas en interacciones (NA2M, NB2M).
Validación del Rendimiento: Los autores demuestran que NAM-FS y NBM-FS logran un rendimiento mejor o comparable al de los GAM y GA2Ms de vanguardia en tareas de clasificación de alta dimensionalidad, superando a los modelos NAM/NBM vanilla que dependen de características preseleccionadas.

Resultados
Los experimentos se realizaron en seis conjuntos de datos de clasificación de alta dimensionalidad (que oscilan entre 561 y 5,000 características).

Rendimiento (Throughput): Los modelos vanilla NA2M y NB2M no pudieron ejecutarse en conjuntos de datos con más de 100 características debido a restricciones de memoria. En contraste, NAM-FS y NBM-FS mantuvieron un rendimiento estable incluso con hasta 50,000 características.
Precisión: En conjuntos de datos de alta dimensionalidad (por ejemplo, guillermo con 4,296 características y Gisette con 5,000 características), NAM-FS(500) y NBM-FS(500) alcanzaron la precisión más alta entre todos los GAM probados.
Interacciones: Los modelos que incorporan interacciones de pares (NA2M-FS y NB2M-FS) con $K_2=500$ superaron a los GA2Ms de vanguardia (EB2M y NODE-GA2M) en varios conjuntos de datos.
Eficacia de la Selección de Características: Al compararse con NAM/NBM entrenados con características preseleccionadas mediante información mutua, los métodos de selección de características end-to-end propuestos generalmente produjeron una mayor precisión, demostrando la efectividad de aprender la selección de características conjuntamente con los parámetros del modelo.

Significancia y Reivindicaciones
El artículo afirma que, al integrar la selección de características en el bucle de entrenamiento, NAM y NBM pueden escalarse a conjuntos de datos de alta dimensionalidad sin sacrificar su ventaja central: la interpretabilidad. Los autores enfatizan que su método es simple pero efectivo, permitiendo la visualización de un número manejable de funciones de forma mientras se capturan interacciones complejas de características. Señalan que, si bien los modelos son altamente efectivos para datos de alta dimensionalidad, sus ventajas disminuyen en entornos de baja dimensionalidad (menos de 100 características). El trabajo posiciona a estos modelos como una solución práctica para aplicaciones que requieren tanto una alta precisión predictiva como interpretabilidad global en dominios complejos y de alta dimensionalidad.

Más como este