🧬 biology

QuantFormer: Learning to Quantize for Neural Activity Forecasting in Mouse Visual Cortex

El artículo presenta QuantFormer, un novedoso modelo basado en transformadores que replantea la predicción de la actividad neuronal como un problema de clasificación mediante la cuantificación dinámica de señales y tokens específicos de neuronas, logrando un rendimiento de vanguardia en la predicción de la dinámica de la corteza visual de ratones a partir de datos de imagen de calcio de dos fotones.

Autores originales: Salvatore Calcagno, Isaak Kavasidis, Simone Palazzo, Marco Brondi, Luca Sità, Giacomo Turri, Daniela Giordano, Vladimir R. Kostic, Tommaso Fellin, Massimiliano Pontil, Concetto Spampinato

Publicado 2026-08-25

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Salvatore Calcagno, Isaak Kavasidis, Simone Palazzo, Marco Brondi, Luca Sità, Giacomo Turri, Daniela Giordano, Vladimir R. Kostic, Tommaso Fellin, Massimiliano Pontil, Concetto Spampinato

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ Esta es una explicación generada por IA de un preprint que no ha sido revisado por pares. No es consejo médico. No tome decisiones de salud basándose en este contenido. Leer descargo de responsabilidad completo

El cerebro es una vasta y zumbante red de miles de millones de células, cada una de las cuales se activa en un ritmo complejo para crear pensamiento, movimiento y sensación. Para entender cómo funciona esta maquinaria, los científicos suelen observar estas células en acción, utilizando microscopios especiales para ver cuándo se iluminan con señales químicas. Esta actividad no es constante; se presenta en ráfagas repentinas y dispersas, como una ciudad donde la mayoría de las luces están apagadas, pero ventanas específicas se encienden en momentos precisos cuando algo interesante sucede. Durante décadas, los investigadores han intentado construir modelos computacionales que puedan predecir estos destellos, con la esperanza de anticipar algún día qué hará un cerebro a continuación. Esta es una tarea difícil porque las señales son desordenadas, los patrones son fugaces y la enorme cantidad de células involucradas hace que los datos sean abrumadores. Si los científicos pudieran pronosticar de manera fiable estas chispas neuronales, podrían diseñar experimentos que se ajusten en tiempo real, ayudando quizás a restaurar funciones o a profundizar nuestra comprensión del comportamiento.

Un equipo de investigadores ha introducido ahora un nuevo enfoque para este problema, creando un sistema llamado QuantFormer. En lugar de intentar predecir el brillo exacto de una señal en cada momento, lo cual es como intentar adivinar la temperatura precisa de una habitación cada segundo, el equipo decidió abordar el problema de una manera diferente. Se dieron cuenta de que, debido a que la actividad neuronal es tan dispersa, a menudo es más útil pensar en si una célula está activa o no, en lugar de intentar medir el grado exacto de su resplandor. Para lograr esto, construyeron un modelo computacional que aprende a traducir el flujo continuo de datos neuronales en un conjunto de pasos distintos y discretos. Imagine tomar un río suave y fluido y marcarlo con una serie de piedras de paso; el modelo aprende a saltar de una piedra a la siguiente, convirtiendo efectivamente la predicción de una señal fluida en un juego de elegir la piedra adecuada. Este cambio permite que la computadora se concentre en los momentos más importantes —los destellos reales de actividad— en lugar de perderse en el ruido de fondo silencioso.

Los investigadores entrenaron este modelo utilizando una colección masiva de datos de la corteza visual de ratones, una región del cerebro que procesa lo que el animal ve. Mostraron a los ratones diversas imágenes, desde rayas en movimiento hasta escenas naturales, y registraron cómo respondían miles de neuronas individuales. El modelo primero fue enseñado a completar las piezas faltantes de estos registros, un proceso que lo obligó a aprender las reglas subyacentes de cómo se comportan las neuronas a lo largo del tiempo. Crucialmente, el sistema fue diseñado para manejar cualquier número de neuronas a la vez. Al otorgar a cada neurona una etiqueta de nombre digital única, el modelo pudo aprender los hábitos específicos de cada célula del grupo, independientemente de cuántas estuvieran siendo observadas. Esta flexibilidad es un paso significativo hacia adelante, ya que los métodos anteriores a menudo tenían dificultades cuando el número de células cambiaba o al intentar analizar muchas células simultáneamente.

Al ser probado, el nuevo modelo demostró ser notablemente eficaz al predecir cómo reaccionarían las neuronas ante estímulos visuales. Superó a los métodos existentes en la captura de la sincronización y la forma de las respuestas neuronales, particularmente en los estallidos bruscos y repentinos de actividad que definen cómo el cerebro procesa la información. El modelo fue capaz de pronosticar estos patrones con un nivel de precisión que sugiere que ha aprendido la verdadera dinámica del circuito neuronal, en lugar de simplemente memorizar comportamientos promedio. Los investigadores también descubrieron que el modelo puede generalizar bien, lo que significa que funcionó eficazmente en diferentes ratones y con diferentes tipos de imágenes, incluso aquellas que no había visto durante su entrenamiento inicial. Esto sugiere que el sistema ha aprendido un lenguaje fundamental de la actividad neuronal que se aplica a través de diferentes individuos y situaciones.

Sin embargo, los autores tienen cuidado de señalar lo que su modelo hace y lo que no hace. Aunque destaca en la predicción del resplandor químico de las neuronas, no predice directamente los impulsos eléctricos que causan ese resplandor. La relación entre ambos es compleja, y el modelo se entiende actualmente mejor como una herramienta para pronosticar las señales de fluorescencia visibles más que los eventos eléctricos subyacentes. A pesar de esta limitación, el trabajo representa un salto significativo hacia la creación de una herramienta fundamental para la neurociencia. Al reencuadrar con éxito un problema de predicción difícil en una tarea de clasificación más manejable, los investigadores han allanado el camino para futuros sistemas que algún día podrían ayudar a los científicos a interactuar con el cerebro en tiempo real, abriendo nuevas puertas para comprender cómo funciona la mente y cómo podría ser ayudada cuando algo sale mal.

Resumen Técnico: QuantFormer

Planteamiento del Problema

El pronóstico de la actividad neural es crítico para comprender comportamientos animales complejos y permitir aplicaciones futuras como la optogenética de bucle cerrado (closed-loop). Sin embargo, los métodos actuales basados en transformers luchan con la escasez espaciotemporal única y las intrincadas dependencias inherentes a las señales neurales. Los enfoques tradicionales suelen depender de la decodificación (mapeo de la actividad neural al comportamiento/estímulo) o la codificación (mapeo de estímulos a la actividad neural), pero frecuentemente fallan al predecir la dinámica neural futura en una base de un solo ensayo sin variables conductuales sincrónicas. Además, muchos métodos dependen de trazas de calcio deconvolucionadas o datos de picos (spikes), que sufren limitaciones en la precisión de la inferencia de picos en tiempo real. Este trabajo aborda el desafío de pronosticar trazas de fluorescencia crudas ( $\Delta F/F$ ) a partir de datos de imagen de calcio de dos fotones de la corteza visual de ratones, centrándose específicamente en la predicción de patrones de activación neuronal dispersos de un número arbitrario de neuronas.

Metodología: QuantFormer

QuantFormer es un modelo basado en transformer diseñado para pronosticar la actividad neural reformulando el problema de regresión como un problema de clasificación mediante la cuantificación dinámica de la señal. La arquitectura y el flujo de entrenamiento constan de dos fases distintas:

1. Preentrenamiento (Autoencoder de Máscara Auto-supervisado)

El modelo se preentrena utilizando una estrategia de autoencoder de máscara en el conjunto de datos Allen Brain Observatory.

Cuantificación Vectorial: En lugar de predecir valores continuos, el modelo aprende a mapear parches de señales neurales a un conjunto discreto de códigos latentes (un libro de códigos o codebook de tamaño $K=32$ ). Esto reformula la tarea como la predicción de tokens discretos, facilitando el aprendizaje de picos de activación dispersos.
Arquitectura: El codificador (encoder) y el decodificador (decoder) se construyen sobre arquitecturas de transformer. Las señales de entrada se segmentan en parches, se proyectan en tokens, y una fracción ( $P_m=0.2$ ) es reemplazada por un token [MASK].
Objetivo: El modelo minimiza una pérdida de reconstrucción (MSE ponderado) para predecir la señal original a partir de la representación latente cuantificada. Se utiliza un estimador de paso directo (straight-through estimator) para retropropagar los gradientes a través del operador de cuantificación no diferenciable.
Manejo de Desequilibrio de Clases: Durante el preentrenamiento, se emplea una estrategia de minibatch balanceado, reteniendo todas las observaciones activas y submuestreando un número igual de observaciones inactivas para abordar la rareza de las activaciones neuronales.

2. Tareas de Ajuste (Downstream Tasks)

Tras el preentrenamiento, el codificador se adapta para dos tareas específicas utilizando tokens aprendibles específicos de neurona y de estímulo:

Predicción de Activación Neuronal (Clasificación): El modelo predice si una neurona estará activa ( $a=1$ ) o inactiva ( $a=0$ ) en respuesta a un estímulo. Se antepone un token [CLS] a la secuencia (junto con tokens [NEURON] y [STIM]), y su salida se introduce en un clasificador binario.
Pronóstico de Respuesta Neuronal: El modelo predice la serie temporal de respuesta futura ( $x_f$ ) dada la actividad de línea base ( $x_b$ ) y el estímulo. La secuencia de entrada incluye tokens [NEURON] y [STIM] seguidos de parches de línea base y tokens [MASK] que representan la respuesta futura. Una red de clasificación predice los índices del libro de códigos para los tokens enmascarados, que luego se reconstruyen en una señal continua utilizando el decodificador preentrenado congelado.

Característica Arquitectónica Clave: Para manejar un número arbitrario de neuronas sin crear modelos separados para cada una, QuantFormer antepone tokens aprendibles específicos de neurona ([NEURON]) y específicos de estímulo ([STIM]) a la secuencia de entrada. Esto permite al modelo procesar señales multivariantes de diversas poblaciones neuronales de manera efectiva.

Principales Contribuciones

Pronóstico de Respuesta Neural de un Solo Ensayo: Un enfoque que pronostica respuestas neurales futuras utilizando únicamente la actividad pre-estímulo e información del estímulo, proporcionando un componente computacional para paradigmas experimentales en línea.
Reformulación del Pronóstico como Clasificación: Al emplear la cuantificación vectorial, el modelo aprende una representación discreta de las señales neurales. Esto permite el uso de técnicas de clasificación para predecir eficazmente activaciones neuronales dispersas, lo cual es crucial dada la relativa rareza de tales eventos.
Escalabilidad a Poblaciones Neurales Arbitrarias: El uso de tokens específicos de neurona permite al modelo analizar señales multivariantes de cualquier número de neuronas, asegurando la escalabilidad y generalización a través de individuos y sesiones sin aumentar la complejidad del modelo por neurona.
Modelo Fundacional para la Corteza Visual de Ratón: Aprovechando el aprendizaje no supervisado en el gran conjunto de datos de Allen, QuantFormer demuestra un pronóstico robusto a través de diferentes estímulos, individuos y condiciones experimentales.

Resultados Experimentales

El modelo fue evaluado en el conjunto de datos Allen Brain Observatory (11 ratones, 236,808 señales multivariantes) utilizando cuatro tipos de estímulos: rejillas errantes (drifting gratings), rejillas estáticas, escenas naturales y ruido localmente disperso.

Rendimiento de Clasificación: QuantFormer logró los mejores resultados en la clasificación de respuesta a estímulos, superando a líneas base como LSTM, Autoformer, Informer, BrainLM y Crossformer. Alcanzó una precisión balanceada del 77.39% y una puntuación F1 del 66.94%.
Rendimiento de Pronóstico: Bajo la normalización de gradiente acumulado (que evalúa la concordancia en la dinámica temporal normalizada), QuantFormer obtuvo el Error Cuadrático Medio más bajo (MSE: 0.247) y el Error Absoluto Porcentual Simétrico más bajo (SMAPE: 0.656), así como la correlación más alta (0.338) y el Índice de Similitud Estructural más alto (SSIM: 0.069) entre los métodos comparados.
Análisis Cualitativo: La inspección visual de las trazas de fluorescencia pronosticadas mostró la efectía de QuantFormer para capturar picos de activación dispersos y la dinámica temporal, mientras que otros métodos a menudo predijeron respuestas constantes o fallaron en capturar la temporización transitoria.
Estudios de Ablación: Los experimentos confirmaron que la combinación de tokens aprendibles (identificadores de neurona/estímulo) y el preentrenamiento de cuantificación era esencial para el rendimiento. La cuantificación de bins fijos funcionó peor que la cuantificación aprendida, resaltando el valor de aprender prototipos de libro de códigos adaptables a los datos.
Generalización: Experimentos de "dejar uno fuera" (leave-one-out) demostraron que el modelo se generaliza efectivamente a través de diferentes sujetos, sesiones y categorías de estímulos.

Significado y Limitaciones

Significado:
El artículo posiciona a QuantFormer como un primer paso hacia un modelo fundacional para el pronóstico de señales neurales de dos fotones que no depende de variables conductuales. Su eficiencia computacional (procesando 512 neuronas en ~6.5ms) sugiere un potencial soporte para futuros experimentos en línea. El trabajo establece un nuevo referente para el pronóstico de la actividad de la corteza visual de ratón y demuestra que reformular la regresión como un problema de clasificación mediante cuantificación es una estrategia viable para datos neurales dispersos.

Limitaciones:

Mecanismo de Inhibición: El modelo actual carece de un mecanismo de inhibición explícito, lo que puede conducir a secuencias con una activación alta sostenida, contrario a la activación única típica observada en neuronas biológicas.
Inferencia de Picos (Spikes): El análisis de deconvolución post-hoc indica que ni QuantFormer ni los métodos competidores reconstruyen de manera fiable eventos de picos umbralizados a partir de las trazas de fluorescencia predichas. Los autores aclaran que la formulación actual debe interpretarse estrictamente como un método de pronóstico de fluorescencia, no como un modelo de pronóstico de picos o eventos.
Validación de Bucle Cerrado: Aunque la latencia de inferencia es compatible con el procesamiento en línea, el artículo señala que aún queda investigar la robustez frente al ruido experimental, el drift y el impacto de los errores de pronóstico en las decisiones de intervención en el control de bucle cerrado.

Los autores concluyen que el trabajo futuro implicará el entrenamiento en todo el conjunto de datos de Allen y la adaptación del modelo a datos neurales de picos (spiking data) para mejorar aún más las capacidades de generalización.