Comparison of generalised additive models and neural networks in applications: A systematic review

Resumen Técnico: Comparación de Modelos Aditivos Generalizados y Redes Neuronales en Aplicaciones

Planteamiento del Problema
Las redes neuronales (NN) se han vuelto dominantes en el modelado predictivo, particularmente para tareas que involucran el reconocimiento de imágenes y el procesamiento del lenguaje natural, priorizando a menudo la precisión predictiva sobre la interpretabilidad. Por el contrario, los Modelos Aditivos Generalizados (GAM) ofrecen un marco estadístico flexible y no lineal que conserva la interpretabilidad mediante una estructura aditiva. Aunque ambos son de vanguardia, existe una falta de comprensión sistemática con respecto a su rendimiento relativo en datos tabulares del mundo real. Las revisiones sistemáticas previas se han centrado principalmente en dominios específicos (por ejemplo, transporte, salud cardíaca) o han comparado las NN contra modelos lineales más simples (por ejemplo, regresión lineal o logística), sin tener en cuenta las capacidades no lineales de los modelos estadísticos modernos como los GAM. Este artículo aborda esta brecha mediante la realización de una revisión sistemática y un metanálisis que compara los GAM y las NN a través de un amplio espectro de áreas de aplicación.

Metodología
El estudio se adhiere a las directrices de la Declaración de Objetivos para la Revisión Sistemática de la Lista de Verificación de Reporte de Ítems (PRISMA).

• Recolección de Datos: Una búsqueda en la base de datos Scopus arrojó 455 documentos. Tras la selección de elegibilidad (revisados por pares, en inglés, texto completo, comparación empírica de GAM y NN en el mismo conjunto de datos y disponibilidad de métricas de rendimiento), se seleccionaron 143 artículos. Estos artículos contenían 430 conjuntos de datos distintos.
• Extracción de Datos: Se extrajeron atributos tanto a nivel de artículo (dominio, revista, año) como a nivel de conjunto de datos (tamaño de la muestra, número de predictores, tipo de problema, arquitectura de la red neuronal, complejidad y métricas de rendimiento).
• Análisis Estadístico: Para abordar la Pregunta de Investigación 3 (factores asociados con las diferencias de rendimiento), los autores emplearon un modelo de efectos mixtos lineales. Este enfoque se eligió para dar cuenta de la estructura jerárquica de los datos, donde múltiples conjuntos de datos están anidados dentro de un solo artículo, introduciendo una dependencia intra-artículo.
  • Variables de Respuesta: El análisis se centró en las tres métricas reportadas con mayor frecuencia: el Error Cuadrático Medio (RMSE), $R^2$ y el Área Bajo la Curva (AUC). Para asegurar la invarianza de escala a través de diversos conjuntos de datos, los autores computaron las razones de logaritmos de las métricas de rendimiento (por ejemplo, $\log(\text{RMSE}_{\text{GAM}}/\text{RMSE}_{\text{NN}})$), convirtiendo $R^2$ y AUC en medidas de pérdida ($1-R^2$, $1-\text{AUC}$) para alinearlos con el RMSE.
  • Predictores: Los efectos fijos incluyeron el año de publicación, el área de dominio, el tamaño de la muestra, el número de predictores y la complejidad de la red neuronal. Se incluyeron interacciones por pares con el año de publicación para evaluar las tendencias temporales. Se incluyó un intercepto aleatorio para el "ID del Artículo" para capturar la heterogeneidad específica de cada artículo.
  • Manejo de la Ausencia de Datos: Dado que el tamaño de la muestra, el conteo de predictores y la complejidad fueron reportados con frecuencia de forma incompleta, los valores faltantes se convirtieron en niveles categóricos "Desconocido" en lugar de descartarlos, lo que permitió evaluar si la ausencia de información correlacionaba con los resultados.

Resultados Clave

• Rendimiento General: A través de los 430 conjuntos de datos, no hubo evidencia consistente de superioridad para ni los GAM ni las redes neuronales al considerar las métricas más comunes (RMSE, $R^2$, AUC). Los interceptos de los modelos de efectos mixtos no fueron estadísticamente diferentes de cero, lo que indica que, en promedio, ninguna clase de modelo supera sistemáticamente a la otra.
• Complejidad de la Red Neuronal: Para el RMSE, la complejidad de la red neuronal y su interacción con el tiempo fueron significativas. En 2011, las redes de complejidad media y grande funcionaron peor en relación con los GAM en comparación con las redes más pequeñas. Sin embargo, este efecto negativo disminuyó con el tiempo; para 2024, la complejidad ya no estaba asociada con una ventaja o desventaja de rendimiento respecto a los GAM.
• Dimensiones del Conjunto de Datos (Tamaño de Muestra y Predictores): Para el AUC, los tamaños de muestra más grandes y un mayor número de predictores estuvieron históricamente asociados con un mejor rendimiento de las redes neuronales en relación con los GAM. No obstante, la interacción con el tiempo mostró que esta ventaja se ha estrechado significativamente. En años recientes, no existe una asociación estadísticamente significativa entre las dimensiones del conjunto de datos y el rendimiento relativo de los dos modelos.
• Calidad del Reporte: Un hallazgo significativo fue la alta tasa de información faltante en la literatura. Solo el 21% de los conjuntos de datos reportó los tres atributos clave (tamaño de muestra, predictores y complejidad). La complejidad no reportada de la red neuronal representó la mayor parte de la ausencia de datos (reportada en solo el 35% de los conjuntos de datos).
• Correlación Intra-Artículo: El Coeficiente de Correlación Intraclase (ICC) fue alto (oscilando entre 0.76 y 0.97), lo que indica una variabilidad sustancial entre los artículos que no pudo ser explicada por las variables observadas a nivel de conjunto de datos. Esto sugiere que los detalles metodológicos no reportados (por ejemplo, preprocesamiento, ajuste de hiperparámetros) impulsan las diferencias de rendimiento más que la clase de modelo en sí misma.

Significancia y Conclusiones
El artículo sostiene que los GAM y las redes neuronales deben verse como enfoques complementarios en lugar de competidores para datos tabulares. El estudio concluye que:

1. Compensaciones de Rendimiento: La compensación de rendimiento entre ambos métodos es modesta. Ninguna clase de modelo posee una ventaja consistente a través de diversas aplicaciones.
2. Interpretabilidad: Dada la comparabilidad en el rendimiento, los GAM siguen siendo una opción robusta, particularmente en la investigación científica donde la interpretabilidad y la transparencia son primordiales.
3. Estándares de Reporte: La revisión destaca una falta crítica de reporte estandarizado en la literatura de aprendizaje automático, específicamente respecto a las características del conjunto de datos y la complejidad del modelo. Esta opacidad limita la reproducibilidad y la capacidad de extraer conclusiones definitivas sobre la superioridad de los modelos.
4. Direcciones Futuras: Los autores sugieren que la investigación futura debería centrarse en protocolos de reporte estandarizados (por ejemplo, "model cards") y, potencialmente, realizar reanálisis independientes de los conjuntos de datos de esta revisión utilizando protocolos consistentes para aislar los efectos de las elecciones de modelado de las inconsistencias de reporte.

El artículo enfatiza que, si bien las redes neuronales sobresalen en dominios complejos no tabulares, no ofrecen una ventaja decisiva de rendimiento sobre los GAM para datos tabulares, lo que hace que la elección entre ellos dependa del valor específico otorgado a la interpretabilidad frente a las ganancias predictivas.