Reinforcement learning for closed-loop optimisation of spatiotemporal stimulation in patterned neuronal networks

Los autores presentan un sistema de aprendizaje por refuerzo en bucle cerrado, basado en hardware de bajo costo y de código abierto, que optimiza eficazmente los patrones de estimulación espaciotemporal en redes neuronales cultivadas en microarrays para inducir respuestas específicas, aprovechando la dependencia del estado histórico de la red.

Lo esencial

Imagina que tienes un pequeño jardín neuronal, un grupo de células cerebrales vivas cultivadas en un laboratorio sobre una placa llena de pequeños micrófonos (llamados electrodos). Estos neuronas se comunican entre sí, creando una red compleja.

El objetivo de los científicos de este estudio era aprender a "hablar" el idioma de estas neuronas. Querían enviarles señales eléctricas específicas para que respondieran de una manera concreta: querían que dispararan sus impulsos eléctricos en un círculo perfecto y en sentido horario, como si fueran una rueda que gira.

El problema es que este jardín neuronal es un laberinto gigante. Hay millones de formas posibles de enviar señales (cuándo, dónde y con qué fuerza). Intentar probar todas las combinaciones a mano sería como intentar encontrar una aguja en un pajar... pero el pajar es del tamaño de un planeta y la aguja cambia de forma cada segundo. Además, las neuronas son un poco caprichosas: su reacción depende de lo que les pasó hace un momento.

La solución: Un "entrenador" inteligente (Aprendizaje por Refuerzo)

Para resolver esto, los investigadores no usaron un manual de instrucciones, sino un entrenador virtual basado en Inteligencia Artificial, específicamente un tipo llamado Aprendizaje por Refuerzo.

Piensa en este entrenador como un niño aprendiendo a tocar un piano:

1. El intento: El niño (la IA) presiona una tecla (envía un estímulo eléctrico a las neuronas).
2. La respuesta: Las neuronas tocan una melodía (se disparan en un patrón específico).
3. La nota: Si la melodía suena bien (se acerca al círculo horario deseado), el niño recibe una "galleta" (una recompensa). Si suena mal, no recibe nada.
4. El aprendizaje: Con el tiempo, el niño deja de tocar notas al azar y empieza a memorizar qué combinaciones de teclas generan las mejores melodías.

¿Qué descubrieron?

1. Las neuronas son estables (pero no predecibles): Los científicos descubrieron que, aunque las neuronas cambian un poco con el tiempo, si les das el mismo estímulo una y otra vez, suelen responder de forma muy similar. Esto es como si el jardín siempre creciera de la misma manera si le das el mismo sol y agua.
2. El pasado importa: Descubrieron que la respuesta de las neuronas a un estímulo depende de lo que les pasó justo antes. Es como si el estado de ánimo de las neuronas cambiara según su última experiencia.
3. La IA encontró atajos: El entrenador de IA no aprendió a tocar el "círculo perfecto" simplemente enviando señales en orden horario (como uno pensaría). ¡Descubrió trucos extraños! A veces, saltarse un electrodo o enviar señales en un orden caótico funcionaba mejor. La IA encontró caminos que los humanos no habrían imaginado.
4. El cambio de estrategia: Los entrenadores más avanzados aprendieron que, a veces, cambiar de estrategia dependiendo de lo que pasó antes (cambiar de "tecla" según el estado de ánimo de las neuronas) daba mejores resultados.

La herramienta: "Inkube"

Para hacer todo esto, construyeron una máquina llamada Inkube. Imagínala como un robot de cocina de alta precisión que puede:

• Escuchar a las neuronas (grabar sus señales).
• Darles un "golpecito" eléctrico (estimularlas).
• Hacer todo esto en milisegundos (más rápido que un parpadeo).
• Controlar hasta 15 de estos jardines neuronales al mismo tiempo, como si fuera un director de orquesta con 15 bandas diferentes.

¿Por qué es importante?

Hasta ahora, estudiar cómo funciona el cerebro era como intentar adivinar las reglas de un juego viendo jugar a alguien durante horas. Con esta nueva herramienta, podemos jugar el juego con el cerebro y aprender sus reglas rápidamente.

Esto abre la puerta a:

• Entender mejor el cerebro: Descubrir cómo las redes neuronales procesan información.
• Computación biológica: Usar neuronas reales como procesadores para resolver problemas.
• Tratamientos médicos: En el futuro, podríamos usar esta tecnología para diseñar marcapasos cerebrales o implantes que se adapten automáticamente a las necesidades del paciente, enviando la señal exacta en el momento exacto para detener una crisis epiléptica, por ejemplo.

En resumen, los científicos crearon un laboratorio de entrenamiento automático donde una Inteligencia Artificial aprende a "conversar" con neuronas vivas, descubriendo patrones complejos que nos ayudan a entender cómo funciona la mente y cómo podríamos ayudar a repararla en el futuro. Y lo mejor de todo: ¡todo el diseño de la máquina es de código abierto, para que cualquiera pueda construir su propio laboratorio de neuronas!

Resumen técnico

Título: Aprendizaje por Refuerzo para la Optimización en Bucle Cerrado de la Estimulación Espaciotemporal en Redes Neuronales Patrones

1. Planteamiento del Problema

Comprender cómo los circuitos neuronales transforman las entradas en salidas requiere perturbaciones sistemáticas bajo condiciones controladas. Aunque las redes neuronales in vitro cultivadas en matrices de microelectrodos (MEA) permiten estimulación y grabación, existen dos desafíos principales:

• Espacio de búsqueda inabarcable: El espacio de posibles patrones de estimulación espaciotemporal crece de forma combinatoria con el número de electrodos y la resolución temporal, haciendo imposible una exploración exhaustiva (bucle abierto).
• Dependencia del estado y no estacionariedad: Las respuestas evocadas dependen de la historia de estimulación previa (dinámicas dependientes del estado) y la plasticidad neuronal, lo que complica la identificación de patrones óptimos.
• Limitaciones de sistemas anteriores: Los enfoques previos de bucle cerrado a menudo operaban en escalas de tiempo de segundos, condensando la información en cantidades escalares (como tasas de disparo), perdiendo la estructura espaciotemporal precisa de los picos (spikes) individuales.

2. Metodología

Los autores desarrollaron un marco experimental y computacional integrado para abordar estos problemas:

• Preparación Biológica:

  • Se utilizaron redes neuronales derivadas de células madre pluripotentes inducidas humanas (iPSC) cultivadas en microestructuras de PDMS sobre MEAs de 60 electrodos.
  • Las microestructuras (nodos abiertos conectados por microcanales) restringen la topología de la red, creando circuitos recurrentes físicos donde cada microcanal cubre un electrodo específico. Esto facilita la interpretación de la mapeo entrada-salida.

• Sistema de Electrofisiología en Bucle Cerrado (inkube):

  • Se extendió la plataforma de código abierto inkube para incluir estimulación en bucle cerrado.
  • Precisión: Logra una resolución de estimulación a nivel de muestra individual (aprox. 58 µs) con tiempos de ida y vuelta (round-trip) en el rango de milisegundos.
  • Hardware: Utiliza componentes comerciales (ASICs Intan, FPGA Xilinx) y un sistema de incubación personalizado (inkudock) para mantener condiciones fisiológicas estables.
  • Comunicación: El sistema detecta picos en tiempo real, calcula recompensas y envía nuevas acciones de estimulación en ciclos discretos (hasta 20 Hz).

• Formulación de Aprendizaje por Refuerzo (RL):

  • Entorno: La red neuronal biológica actúa como el entorno.
  • Acción: Un vector de 4 dimensiones que define el tiempo de estimulación (retraso) para cada uno de los 4 electrodos de la red. El espacio de acciones puede ser discreto (625 combinaciones) o continuo.
  • Estado: La respuesta de la red registrada durante 20 ms post-estimulación. Se comprime utilizando dos métodos: Análisis de Componentes Principales (PCA) y una Red Neuronal Convolucional 1D (DCNN).
  • Recompensa: Se define como la longitud de la secuencia de disparos en sentido horario más larga encontrada en la red, dentro de una ventana de tiempo de 0.5 a 5 ms entre picos consecutivos.
  • Agentes: Se compararon varios agentes:
    • Multi-Armed Bandits (MAB): Sin estado (state-free).
    • Linear Contextual Bandits (LCB): Con estado, que modelan la dependencia lineal entre el estado anterior y la recompensa.
    • Agentes aleatorios: Como línea base.

3. Contribuciones Clave

• Plataforma de Hardware/Software Accesible: Demostración de un sistema de electrofisiología en bucle cerrado de bajo costo, de código abierto y basado en componentes comerciales, capaz de operar múltiples redes simultáneamente con control de agentes RL independientes.
• Resolución a Nivel de Spike: Capacidad de controlar y optimizar patrones de estimulación a resolución de milisegundos y nivel de pico individual, superando las limitaciones de escalas de tiempo anteriores.
• Caracterización de la Dependencia del Estado: Evidencia experimental de que las respuestas evocadas en redes recurrentes restringidas dependen del patrón de estimulación anterior en un subconjunto significativo de pares de acciones, validando la necesidad de agentes que consideren el estado.
• Herramienta General: Un marco que permite la caracterización funcional dirigida por objetivos de redes neuronales ingenierizadas sin necesidad de modelos explícitos del sistema biológico.

4. Resultados

• Estabilidad y Separabilidad: Las respuestas evocadas por estimulación fueron estables y separables a lo largo de horas de operación continua. Aproximadamente el 90% de las acciones mostraron señales de recompensa estacionarias.
• Dependencia del Estado: Se detectó dependencia del estado (la respuesta actual varía según la acción previa) en aproximadamente un tercio de los pares de acciones probadas, utilizando métricas de distancia de Wasserstein.
• Desempeño de los Agentes:
  • Todos los agentes de RL aprendieron a mejorar la recompensa significativamente en comparación con la estimulación aleatoria.
  • Los agentes convergieron en patrones de estimulación no triviales que abarcan todo el espacio de acciones, en lugar de simplemente imitar el motivo objetivo (disparo en sentido horario).
  • Los agentes basados en estado (LCB) lograron explotar la dependencia del estado mediante el cambio de acciones (action switching), obteniendo beneficios medibles en recompensas para pares de acciones específicos.
  • Sin embargo, los agentes basados en estado no superaron en rendimiento general a los agentes MAB (sin estado). Esto sugiere que, aunque existe dependencia del estado, la representación comprimida del estado utilizada podría no ser suficiente para capturar toda la dinámica de la red, o que la complejidad añadida no compensa la ganancia en el número limitado de interacciones.
• Naturaleza de las Soluciones: Las mejores acciones encontradas no seguían un orden temporal simple en sentido horario, lo que refleja la complejidad de la activación axonal (ortodrómica y antidrómica) y las rutas de activación probabilísticas en las redes biológicas.

5. Significado e Impacto

Este trabajo establece un nuevo paradigma para la neurociencia in vitro y la biocomputación:

• Caracterización Funcional Automatizada: Permite mapear funciones de entrada-salida complejas en redes biológicas de manera eficiente, evitando la exploración exhaustiva imposible.
• Puente entre Biología y Control: Demuestra que el aprendizaje por refuerzo puede controlar sistemas biológicos no lineales y no estacionarios a escalas de tiempo relevantes para la comunicación neuronal.
• Aplicaciones Futuras: La plataforma es generalizable a cualquier métrica de respuesta cuantificable, abriendo puertas a:
  • Desarrollo de algoritmos de estimulación eléctrica terapéutica.
  • Optimización de sistemas de biocomputación.
  • Estudios más profundos sobre la plasticidad y la dinámica de redes neuronales.
• Reproducibilidad: Al ser de código abierto y bajo costo, democratiza el acceso a la investigación de control neuronal de bucle cerrado de alta precisión.

En resumen, el artículo presenta una solución técnica robusta que combina ingeniería de hardware, biología de redes y aprendizaje automático para descifrar y controlar la dinámica de redes neuronales biológicas, superando las limitaciones de los enfoques anteriores en resolución temporal y complejidad de control.