Reinforcement learning for closed-loop optimisation of spatiotemporal stimulation in patterned neuronal networks

Os autores desenvolveram um sistema de eletrofisiologia de código aberto e baixo custo, integrado a um framework de aprendizado por reforço, que permite a otimização em malha fechada de padrões de estimulação espaciotemporal em redes neuronais em cultura para induzir respostas específicas com alta precisão temporal.

O essencial

Imagine que você tem um pequeno "jardim" de neurônios vivos, cultivados em uma placa de vidro cheia de microeletródios. O objetivo dos cientistas é entender como esse jardim funciona: se você tocar em uma flor (estimular um neurônio), como as outras flores reagem?

O problema é que esse jardim é caótico. Existem milhões de maneiras diferentes de tocar nas flores (em qual ordem, com que força, em que momento). Tentar todas as combinações manualmente seria como tentar abrir um cofre girando a roda milhões de vezes sem saber a senha: impossível e demorado. Além disso, a reação do jardim depende do que aconteceu antes. Se você tocou na flor A há 1 segundo, a reação à flor B será diferente do que se você tivesse tocado na flor C.

A Solução: Um "Treinador" Inteligente (Reinforcement Learning)

Neste artigo, os pesquisadores criaram um sistema onde um "treinador" de computador (um agente de Inteligência Artificial) aprende sozinho a tocar no jardim da maneira certa para fazer algo específico acontecer: criar uma "corrida" de sinais elétricos que gira em sentido horário, como um carrossel.

Aqui está como eles fizeram isso, usando analogias simples:

1. O Palco e os Atores

• O Palco: É a placa de microeletródios (MEA) com os neurônios. Eles foram organizados em "caminhos" microscópicos (microcanais) para que a informação só pudesse fluir em certas direções, como trilhos de trem.
• Os Atores: São os neurônios. Eles se comunicam através de "piscadelas" elétricas (potenciais de ação).
• O Treinador (IA): É o algoritmo de Reinforcement Learning (Aprendizado por Reforço). Pense nele como um maestro que não sabe a música, mas tem um microfone e um bastão. Ele toca um acorde (estimula os neurônios), ouve o resultado e recebe uma nota do público.

2. O Jogo de "Adivinhação"

O objetivo do jogo era fazer os neurônios formarem uma sequência perfeita girando em círculo.

• A Tentativa: O "Treinador" escolhe aleatoriamente quais neurônios estimular e quando.
• A Reação: Os neurônios "piscam". O sistema grava tudo em milissegundos.
• A Nota (Recompensa): Se a sequência de piscadelas formar um círculo perfeito, o Treinador ganha pontos. Se for bagunçado, ganha zero.
• O Aprendizado: O Treinador não recebe uma receita. Ele apenas sabe: "Essa combinação de toques me deu muitos pontos. Aquela me deu zero. Vou tentar fazer mais coisas parecidas com a primeira e menos com a segunda."

3. O Desafio do "Eco" (Dependência do Passado)

A parte mais difícil é que o jardim tem "memória". A reação de hoje depende do que aconteceu ontem (ou há 1 segundo).

• Analogia: Imagine que você está em uma sala de eco. Se você bater palmas agora, o som que você ouve depende de quantas vezes você bateu palmas antes.
• Os pesquisadores descobriram que, para cerca de um terço das combinações, a "história" importava. O Treinador precisava aprender não apenas o que fazer, mas o que fazer agora baseado no que foi feito antes.

4. O Resultado: O Treinador Venceu

Os cientistas testaram vários tipos de "Treinadores":

• O Adivinhador (MAB): Um treinador que não se importa com a história, apenas tenta as combinações que deram mais pontos no passado.
• O Estrategista (LCB): Um treinador que tenta lembrar da história e ajusta sua estratégia.

O que aconteceu?

1. Todos aprenderam: Todos os treinadores ficaram muito melhores do que apenas tocar aleatoriamente. Eles descobriram padrões complexos que os humanos não teriam adivinhado.
2. Não foi óbvio: O Treinador não descobriu que "tocar em A, depois B, depois C" era a solução. Ele descobriu padrões estranhos e não intuitivos. Às vezes, era melhor não tocar em alguns neurônios para deixar o sinal viajar melhor.
3. O Estrategista não venceu: Surpreendentemente, o treinador que tentava lembrar da história (Estrategista) não ficou muito melhor que o Adivinhador simples. Isso sugere que a "memória" do jardim é muito complexa e o Treinador não conseguiu capturar todos os detalhes apenas olhando para as piscadelas de 20 milissegundos.

5. A Ferramenta: "Inkube"

Para fazer tudo isso funcionar, eles criaram um sistema chamado Inkube.

• Pense nele como um "braço robótico" de baixo custo e código aberto que conecta o computador aos neurônios.
• Ele é rápido demais para o olho humano: ele estimula, escuta e decide a próxima ação em milissegundos.
• É como se você pudesse conversar com os neurônios em tempo real, sem esperar.

Por que isso é importante?

Antes, estudar esses circuitos era como tentar entender um relógio suíço complexo apenas olhando para ele de longe. Agora, temos um sistema que pode "conversar" com o relógio, apertar os parafusos certos e ver o que acontece, aprendendo sozinho como consertá-lo ou fazê-lo funcionar de um jeito novo.

Isso abre portas para:

• Entender como o cérebro aprende e se recupera de lesões.
• Criar computadores biológicos que usam neurônios reais para processar informações.
• Desenvolver tratamentos elétricos mais precisos para doenças neurológicas.

Em resumo: eles ensinaram um computador a "tocar" em um cérebro de laboratório para fazer uma dança específica, descobrindo que a dança é muito mais complexa e interessante do que imaginávamos.

Resumo técnico

Visão Geral

O artigo apresenta uma abordagem inovadora para a caracterização funcional de redes neuronais biológicas in vitro. Os autores combinam redes neuronais com topologia restrita (padronizadas) e um framework de Aprendizado por Reforço (RL) em malha fechada. O objetivo é identificar automaticamente padrões de estimulação espaço-temporal que evocam respostas específicas (motivos de atividade), superando a limitação de que o espaço de possíveis padrões de estimulação é demasiado vasto para exploração exaustiva e que as respostas dependem da história de estimulação prévia.

1. O Problema

• Complexidade do Espaço de Ação: Em redes neuronais in vitro cultivadas em Matrizes de Eletrodos (MEAs), o número de combinações possíveis de padrões de estimulação espácio-temporal cresce combinatorialmente com o número de eletrodos e a resolução temporal, tornando a exploração exaustiva inviável.
• Dependência de Estado: O comportamento neuronal não é estacionário; as respostas evocadas dependem da história recente de disparos (spiking history) e da estimulação anterior, introduzindo dinâmicas dependentes de estado.
• Limitações de Sistemas Atuais: Sistemas de malha fechada existentes muitas vezes operam em escalas de tempo lentas (segundos), condensam a leitura da rede em quantidades escalares (como contagem total de picos), ou dependem de hardware proprietário e não flexível, perdendo a resolução de picos individuais e a estrutura espaço-temporal fina.

2. Metodologia

Sistema Experimental e Hardware

• Redes Neuronais Padronizadas: Utilizaram-se neurônios derivados de células-tronco pluripotentes induzidas humanas (iPSCs) cultivados em MEAs cobertos por microestruturas de PDMS. Essas microestruturas confinam os corpos celulares em poços e guiam os axônios através de microcanais, criando redes recorrentes com topologia controlada (4 nós por rede, 15 redes por MEA de 60 eletrodos).
• Plataforma inkube: O sistema baseia-se em uma versão otimizada e de baixo custo da plataforma inkube (open-source).
  • Hardware: Utiliza chips Intan RHS2116 para registro e estimulação, controlados por um SoC (Xilinx Zynq).
  • Desempenho: Permite estimulação determinística com precisão de amostra única (resolução de ~58 µs) e tempos de ida e volta (round-trip) na faixa de milissegundos.
  • Capacidade: Suporta o controle independente de múltiplas redes simultaneamente por diferentes agentes de RL.

Framework de Aprendizado por Reforço (RL)

• Formulação MDP: O problema foi modelado como um Processo de Decisão de Markov (MDP):
  • Estado ($S$): A resposta de disparos (spikes) registrada nos 4 eletrodos da rede durante uma janela de 20 ms pós-estimulação. Para reduzir a dimensionalidade, utilizaram-se compressões de estado via PCA (Análise de Componentes Principais) e Redes Neurais Convolucionais 1D (DCNN).
  • Ação ($A$): Vetor de 4 dimensões definindo o atraso de tempo da estimulação elétrica em cada um dos 4 eletrodos da rede (intervalo de 0 a 5 ms) ou ausência de estimulação.
  • Recompensa ($R$): O comprimento da sequência de disparos em sentido horário (clockwise) mais longa detectada na rede.
• Agentes Comparados:
  • Bandit de Braços Múltiplos (MAB): Agente sem estado (state-free) que aprende o valor esperado de cada ação discretizada.
  • Bandit Contextual Linear (LCB): Agente baseado em estado que modela a dependência linear entre o estado anterior e a recompensa, permitindo a troca de ações baseada no histórico.
  • Agentes Contínuos vs. Discretos: Foram testadas variações que operam em espaços de ação discretos (625 combinações) e contínuos (adaptação via método de entropia cruzada).

3. Resultados Principais

• Estabilidade e Separabilidade: As respostas evocadas pelas redes foram estáveis e separáveis ao longo de horas de operação contínua. Cerca de 90% das ações mostraram sinais de recompensa estacionários, permitindo que os agentes aprendessem valores de ação confiáveis.
• Dependência de Estado: Foi detectada dependência de estado em um subconjunto significativo de pares de ações (aproximadamente 1/3 dos pares testados). A resposta a uma estimulação atual foi influenciada pela estimulação anterior, validando a necessidade de agentes que considerem o contexto histórico.
• Desempenho dos Agentes:
  • Todos os agentes de RL superaram significativamente a estimulação aleatória.
  • Os agentes convergiram para padrões de estimulação não triviais que exploram todo o espaço de ação, em vez de simplesmente espelhar o motivo alvo (sequência horário).
  • MAB vs. LCB: Embora os agentes baseados em estado (LCB) tenham aprendido a explorar a dependência de estado através da troca de ações (action switching) para obter benefícios de recompensa em pares específicos, isso não resultou em ganhos de desempenho global superiores aos agentes MAB sem estado. O MAB, ao convergir para uma única ação de alta recompensa, mostrou-se mais eficiente dado o número limitado de interações e a complexidade da compressão de estado.
• Natureza das Soluções: As melhores ações encontradas não seguiram uma ordem temporal simples de estimulação em sentido horário. Isso reflete a complexidade da ativação axonal (ortodrômica e antidrômica) e as vias de ativação probabilísticas intrínsecas à rede, que não podem ser mapeadas apenas pela topologia física.

4. Contribuições Chave

1. Sistema de Malha Fechada de Alta Resolução: Desenvolvimento de um sistema inkube atualizado capaz de entregar estimulação e processar feedback em escala de milissegundos, com resolução de pico único, permitindo o controle fino de redes biológicas.
2. Integração RL-Neurociência: Demonstração prática de como agentes de RL podem aprender políticas ótimas para redes neuronais biológicas complexas e não estacionárias, definindo objetivos funcionais específicos (motivos de disparo).
3. Plataforma Open-Source: Disponibilização completa de designs de hardware, software e dados, criando uma ferramenta acessível e de baixo custo para a comunidade de neurociência e biocomputação.
4. Análise de Dependência de Estado: Caracterização quantitativa de como a história de estimulação afeta as respostas da rede e a avaliação de diferentes estratégias de RL para lidar com essa dinâmica.

5. Significado e Perspectivas Futuras

O trabalho estabelece um novo paradigma para a caracterização funcional de redes neuronais, movendo-se de abordagens de "caixa preta" ou controle manual para otimização automatizada e orientada a objetivos.

• Aplicações: A plataforma pode ser usada para mapear funções de entrada-saída de redes biológicas, desenvolver algoritmos de controle para estimulação elétrica terapêutica e explorar a biocomputação.
• Limitações e Futuro: Os autores apontam que a representação de estado atual (apenas 20 ms de atividade supra-limiar) pode não capturar toda a dinâmica da rede (violando parcialmente a propriedade de Markov). Futuras melhorias podem incluir janelas de observação mais longas, modelos POMDP (Processos de Decisão de Markov Parcialmente Observáveis) para estados latentes, e a integração com estimulação óptica para evitar artefatos elétricos e recuperar a janela temporal de disparos diretos.

Em suma, o artigo demonstra que o aprendizado por reforço em malha fechada é uma ferramenta poderosa e viável para explorar e controlar a complexidade dinâmica de redes neuronais biológicas com precisão de pico único.