🧬 biology

A foundation for systematic analysis of transformers and RNNs for tractography

Este artículo evalúa sistemáticamente los modelos RNN y Transformer para la tractografía de dMRI, introduciendo una novedosa estrategia de entrenamiento de generación-validación que logra un rendimiento de vanguardia en conjuntos de datos de referencia, al tiempo que proporciona información crítica sobre las limitaciones de los modelos y las futuras direcciones de investigación.

Autores originales: Emmanuelle Renauld, Philippe Poulin, Hugo Larochelle, Antoine Théberge, Maxime Descoteaux

Publicado 2026-10-02

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Emmanuelle Renauld, Philippe Poulin, Hugo Larochelle, Antoine Théberge, Maxime Descoteaux

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ Esta es una explicación generada por IA de un preprint que no ha sido revisado por pares. No es consejo médico. No tome decisiones de salud basándose en este contenido. Leer descargo de responsabilidad completo

Para comprender el cerebro humano, los científicos a menudo necesitan mapear su cableado interno. Este cableado consiste en haces largos y delgados de fibras nerviosas que conectan diferentes regiones, permitiendo que los pensamientos, las sensaciones y los movimientos viajen a través del cráneo. Para ver estas conexiones sin cirugía, los investigadores utilizan un tipo especial de resonancia magnética que detecta la dirección en la que se mueven las moléculas de agua dentro del tejido cerebral. Debido a que el agua fluye más fácilmente a lo largo de la longitud de una fibra nerviosa que a través de ella, este movimiento revela la trayectoria de las fibras. Sin embargo, convertir estas señales borrosas en un mapa claro es increíblemente difícil. Las imágenes suelen ser granulosas y, en cualquier punto determinado, la señal representa una mezcla de muchas fibras que se cruzan o se curvan en diferentes direcciones. Los métodos tradicionales intentan trazar estas trayectorias paso a paso, siguiendo la señal local, pero a menudo se pierden, creando conexiones falsas o perdiendo las reales porque no pueden ver el panorama general de cómo está organizado el cerebro.

Un equipo de investigadores de la Universidad de Sherbrooke y Mila en Montreal ha adoptado un nuevo enfoque para este problema, enseñando a las computadoras a aprender cómo trazar estas vías nerviosas, de forma muy similar a como un estudiante aprende a leer un mapa estudiando muchos ejemplos. En lugar de depender de reglas matemáticas rígidas, entrenaron dos tipos de modelos de inteligencia artificial —uno que recuerda una secuencia de pasos como un humano leyendo una oración, y otro que observa la trayectoria completa a la vez— para predecir la siguiente dirección que una fibra nerviosa debería tomar. Los investigadores probaron estos modelos en un conjunto de datos de un cerebro simulado donde las respuestas correctas ya se conocían, y luego en escaneos cerebrales humanos reales. Descubrieron que, si bien estos modelos computacionales pueden producir mapas que son más precisos que los métodos anteriores, no son exploradores perfectos. Los modelos son excelentes copiando los patrones que han visto durante el entrenamiento, pero tienen dificultades para inventar nuevas trayectorias correctas si nunca han visto ese tipo específico de conexión antes.

El desafío central que los investigadores abordaron es un conflicto entre los detalles locales y la verdad global. En el mundo real, una fibra nerviosa debe seguir la señal inmediata en su ubicación actual, pero también debe conectarse eventualmente con el destino correcto en el cerebro. Los programas informáticos tradicionales a menudo se quedan estancados siguiendo una señal local que parece correcta pero que conduce a un callejón sin salida o a una conexión falsa. Los investigadores querían ver si el aprendizaje automático podía resolver esto aprendiendo la forma general y el flujo de estos haces. Entrenaron sus modelos utilizando un conjunto masivo de datos de vías nerviosas conocidas, alimentando a la computadora con la señal local y los pasos previos de la trayectoria, pidiéndole que adivinara el siguiente paso. Para asegurarse de que los modelos realmente estuvieran aprendiendo a dibujar mapas válidos y no solo memorizando los datos de entrenamiento, el equipo desarrolló una fase de prueba especial. Durante esta fase, la computadora comenzaba una trayectoria utilizando algunos puntos correctos y luego debía completar el resto del viaje por su cuenta. Los investigadores verificaban si la trayectoria terminada conectaba las regiones cerebrales correctas, en lugar de simplemente comprobar si el siguiente paso era matemáticamente similar a los ejemplos del entrenamiento.

Los resultados mostraron que estos modelos basados en secuencias, particularmente uno basado en una arquitectura de red neuronal recurrente, lograron el mayor rendimiento registrado en el conjunto de datos de prueba estándar. Lograron trazar la gran mayoría de los haces nerviosos conocidos con alta precisión, superando tanto a los algoritmos informáticos más antiguos como a otros intentos recientes de aprendizaje automático. Los modelos fueron capaces de generar trayectorias suaves y continuas que coincidían con la anatomía conocida del cerebro. Sin embargo, el estudio también reveló límites importantes. Cuando los investigadores eliminaron un haz de nervios específico del conjunto de datos de entrenamiento, los modelos no pudieron encontrar ese haz en la fase de prueba, incluso cuando se les proporcionó un punto de partida cercano a él. Esto sugiere que los modelos no están "comprendiendo" realmente la anatomía del cerebro en un sentido general; en su lugar, son altamente hábiles reproduciendo los patrones específicos que se les mostraron. Actúan como copistas expertos en lugar de exploradores independientes.

El equipo también probó cómo los modelos manejaban los datos imperfectos, lo cual es común en los escaneos médicos del mundo real. Encontraron que si los datos de entrenamiento contenían errores o conexiones falsas, los modelos aprenderían esos errores y los reproducirían. Esto resalta una necesidad crítica de datos de entrenamiento de alta calidad y cuidadosamente seleccionados. Si los ejemplos dados a la computadora son defectuosos, los mapas resultantes serán defectuosos. Además, cuando los investigadores aplicaron sus mejores modelos a escaneos cerebrales humanos reales, los resultados fueron visualmente impresionantes, mostrando haces completos de fibras nerviosas. Sin embargo, sin una "clave de respuestas" perfecta para los cerebros humanos reales, es difícil medir exactamente cuántos de estos nuevos caminos son correctos y cuántos son errores. La inspección visual sugirió que los modelos funcionan bien, pero la presencia de algunos caminos ruidosos o incorrectos indica que la tecnología aún no está lista para reemplazar a los expertos humanos por completo.

Una de las contribuciones más significativas de este trabajo es la demostración de que entrenar un modelo para minimizar errores pequeños y locales no garantiza un buen mapa general. Los investigadores descubrieron que un modelo puede tener una tasa de error muy baja para cada paso individual que predice y, aun así, producir una trayectoria final que es completamente errónea. Este desencuentro significa que simplemente hacer que la matemática de la predicción sea más precisa no es suficiente. Para mejorar estas herramientas, el campo necesita mejores formas de evaluar el resultado final, no solo los pasos intermedios. El estudio sugiere que el progreso futuro depende menos de inventar algoritmos más complejos y más de crear conjuntos de datos mejores y más limpios que representen con precisión el cerebro humano, junto con nuevos métodos para verificar que la salida de la computadora tenga sentido anatómico.

Al final, esta investigación proporciona una base clara sobre cómo utilizar la inteligencia artificial para mapear el cableado del cerebro. Demuestra que, si bien estos modelos son herramientas poderosas que pueden superar los métodos actuales en entornos controlados, están limitados por la calidad de los datos que reciben y su incapacidad para generalizar más allá de lo que han memorizado. El camino a seguir consiste en refinar el proceso de entrenamiento para asegurar que los modelos aprendan la estructura real del cerebro, en lugar de solo el ruido o los errores presentes en los ejemplos. Al probar sistemáticamente diferentes estrategias y exponer las limitaciones de los enfoques actuales, los investigadores han proporcionado una hoja de ruta para construir la próxima generación de herramientas de mapeo cerebral, acercando el campo a un futuro donde podamos ver las conexiones del cerebro con una claridad y confiabilidad sin precedentes.

Resumen Técnico: Una base para el análisis sistemático de Transformers y RNNs para la tractografía

Planteamiento del problema
La tractografía de RM de difusión (dMRI) enfrenta una "dualidad local-global" fundamental: los algoritmos deben generar trayectorias que se alineen con las señales de difusión locales y que, al mismo tiempo, sean consistentes con las vías anatómicas globales. Los métodos iterativos tradicionales suelen fallar al intentar satisfacer ambas, produciendo trayectorias o bien muy dispersas o bien con filamentos anatómicamente implausibles, particularmente en regiones complejas como los cruces de fibras. Si bien el aprendizaje automático (ML) ofrece una solución potencial al aprender de los priors anatómicos, los enfoques actuales luchan contra el "sesgo de exposición" inherente a las tareas generativas. Los modelos se entrenan utilizando funciones de pérdida locales (prediciendo la siguiente dirección basándose en la verdad de campo), pero se evalúan mediante métricas globales (la calidad de toda la trayectoria generada). Este desajuste dificulta el ajuste de hiperparámetros y la validación, ya que minimizar la pérdida local no garantiza tractogramas de alta calidad global. Además, la tractografía basada en ML actual carece de comparaciones sistemáticas de arquitecturas de modelos (específicamente RNNs frente a Transformers) y de estrategias de validación robustas para datos in vivo donde la verdad de campo es inexistente.

Metodología
Los autores realizaron una evaluación sistemática de Redes Neuronales Recurrentes (RNNs) y modelos Transformer para la tractografía iterativa de todo el cerebro.

Arquitecturas de modelos:
- RNNs: Implementadas como una versión actualizada de Learn2track, utilizando unidades LSTM con normalización de capa y conexiones de salto (skip connections).
- Transformers: Se probaron tanto arquitecturas de codificador-decodificador completo como de solo decodificador (autorregresivas). La variante de solo decodificador fue la preferida por su naturaleza causal.
- Entradas: Los modelos recibieron características locales de dMRI (fODFs, T1, FA) y, opcionalmente, vectores de dirección previos. Las entradas fueron procesadas mediante incrustaciones (embeddings) de Redes Neuronales (NN) o Redes Neuronales Convolucionales (CNN).
- Salidas: La siguiente dirección se predijo mediante regresión (vectores 3D), clasificación (direcciones discretas) o distribuciones probabilísticas (Gaussiana, Fisher-von Mises).
- Tokens especiales: El estudio introdujo tokens de Inicio de Secuencia (SOS) y Fin de Secuencia (EOS) para manejar los límites de las trayectorias y permitir que el modelo aprenda los criterios de parada sin una máscara de seguimiento fija.
Estrategia de entrenamiento y validación (La fase GV):
Para abordar el desajuste local-global, los autores introdujeron una fase de Generación-Validación (GV). En lugar de depender únicamente de la pérdida local, se le asignó al modelo la tarea periódica de generar trayectorias completas comenzando desde las primeras $N$ coordenadas de la verdad de campo (donde $N=1$ ). Estas trayectorias generadas se calificaron frente a una matriz de conectividad derivada del conjunto de validación. La métrica principal fue la tasa de Falsos Positivos (FP) de Conectividad (relación de falsos positivos respecto a los verdaderos positivos en las conexiones de los puntos finales). Esto permitió una búsqueda eficiente de hiperparámetros sin el costo computacional de la tractografía de todo el cerebro en cada época.
Diseño experimental:
Se realizaron cinco experimentos utilizando el conjunto de datos del Desafío de Tractografía ISMRM 2015 (simulado) y la base de datos Tractoinferno (in vivo):
1. Búsqueda de hiperparámetros: Una búsqueda extensiva (177 modelos) que cubrió funciones de pérdida, incrustaciones de entrada, tamaños de paso y detalles arquitectónicos.
2. Paquetes faltantes: Pruebas de la capacidad del modelo para recuperar haces (Cuerpo Calloso, SCP, Comisura Anterior) excluidos del conjunto de entrenamiento.
3. Datos de entrenamiento subóptimos: Entrenamiento basado en trayectorias generadas por tractografía determinista y probabilística clásica en lugar de la verdad de campo.
4. Trayectorias inválidas: Investigación del impacto de añadir trayectorias inválidas (falsos positivos) al conjunto de entrenamiento.
5. Aplicación in vivo: Entrenamiento y prueba en datos humanos reales de la base de datos Tractoinferno, utilizando la inspección visual como método principal de evaluación.

Resultos clave

Rendimiento en los datos ISMRM: Los modelos propuestos alcanzaron el rendimiento más alto reportado hasta la fecha en el conjunto de datos ISMRM 2015. El modelo con mejor desempeño fue la arquitectura Learn2track (RNN) utilizando una pérdida de regresión y tokens EOS. Superó a los métodos de vanguardia anteriores (incluyendo TractoTransformer y otros enfoques basados en RNN) en términos de puntuación F1 (Dice) y ratios de trayectorias válidas (VS).
Perspectivas sobre hiperparámetros:
- Tokens EOS: La inclusión de tokens EOS fue crítica, permitiendo al modelo aprender los criterios de parada y mejorando significativamente los resultados.
- Funciones de pérdida: Las pérdidas de regresión produjeron mejores resultados que las pérdidas de clasificación o probabilísticas (Gaussiana/FvM), a pesar de que la clasificación es más rápida de entrenar.
- Tamaño de paso: Aumentar la longitud del segmento de la trayectoria de 1 mm a 2 mm mejoró el rendimiento del modelo sin degradar la calidad del tractograma.
- CNN vs. NN: Las incrustaciones CNN para los datos de entrada no superaron a las inclexiones NN estándar, lo que sugiere que la invarianza a la traslación es menos crítica que la disposición espacial específica de las características en el vecindario.
Generalización y limitaciones:
- Paquetes faltantes: Los modelos fallaron al recuperar haces que no estaban presentes en el conjunto de entrenamiento, confirmando que estos modelos reproducen las estructuras de los datos de entrenamiento en lugar de descubrir nuevas vías anatómicas.
- Calidad de los datos de entrenamiento: Entrenar con tractogramas probabilísticos mejoró la cobertura espacial (Overlap) pero aumentó el exceso de alcance (overreach), mientras que el entrenamiento determinista produjo trayectorias más suaves y localmente alineadas con menos cobertura.
- Resultados in vivo: En la base de datos Tractoinferno, los modelos generaron con éxito tractogramas de todo el cerebro que se asemejaban visualmente a los haces de la verdad de campo. Sin embargo, la inspección visual reveló más ruido y trayectorias espurias en comparación con los resultados del simulador ISMRM.
Atención del Transformer: La visualización de los pesos de atención del Transformer reveló que los modelos atienden a múltiples puntos a lo largo de la historia de la trayectoria, no solo al paso inmediatamente anterior, lo que ofrece un potencial para la IA explicable, aunque la interpretación sigue siendo un desafío.

Significación y afirmaciones
El artículo afirma proporcionar una base para el análisis sistemático del aprendizaje profundo basado en secuencias en la tractografía. Sus principales contribuciones son:

Marco de validación: La introducción de la fase GV como un método práctico y computacionalmente eficiente para supervisar la calidad de la tractografía global durante el entrenamiento, cerrando la brecha entre la pérdida local y las métricas globales.
Benchmarking: Establecimiento de nuevos referentes de rendimiento de vanguardia en el conjunto de datos ISMRM, demostando que el ajuste cuidadoso de hiperparámetros y el uso de tokens EOS son más impactantes que simplemente cambiar de RNN a Transformers.
Realismo en la evaluación: Resaltar las limitaciones de los métodos actuales de evaluación in vivo. Los autores argumentan que las herramientas de segmentación existentes (como Recobundles) son demasiado estocásticas y estrictas para servir como métricas cuantitativas fiables para comparar modelos de ML. Enfatizan que la inspección visual sigue siendo el método más fiable para la validación in vivo actual.
Dependencia de los datos: El estudio subraya que los modelos de tractografía de ML son altamente dependientes de la calidad y completitud del conjunto de entrenamiento. Actúan como filtros potentes para reducir los falsos positivos, pero no pueden generalizar a estructuras anatómicas ausentes en los datos de entrenamiento.

Los autores concluyen que, si bien los modelos basados en secuencias (RNNs y Transformers) capturan eficazmente las dependencias de las trayectorias, el desajuste entre los objetivos de entrenamiento local y la plausibilidad anatómica global sigue siendo una limitación central. El progreso futuro requiere simuladores (phantoms) mejorados con sistemas de puntuación estandarizados y conjuntos de datos de entrenamiento curados que reflejen verdades anatómicas específicas en lugar de solo promedios poblacionales.

Más como este