Low-dimensional factorized neural computations underlie risk-adaptive choices

Resumo Técnico: Computações neurais fatorizadas de baixa dimensão fundamentam escolhas adaptativas ao risco

Definição do Problema
A tomada de decisão no mundo real ocorre frequentemente sob condições de incerteza, exigindo que os indivíduos ponderem recompensas potenciais contra a probabilidade de resultados adversos. Falhas nesse processo estão ligadas a comportamentos maladaptativos e transtornos psiquiátricos, como o vício em jogos e o uso de substâncias. Embora o aprendizado por reforço (RL) forneça um arcabouço para modelar essas decisões, as computações neurais específicas e a dinâmica populacional que facilitam a inferência sobre paisagens de resultados incertos permanecem obscuras. Os autores investigam se agentes de RL profundo e cérebros humanos convergem para representações internas semelhantes ao resolver tarefas de tomada de decisão de risco, examinando especificamente se estratégias comportamentais distintas são sustentadas por geometrias neurais distintas de baixa dimensão.

Metodologia
O estudo empregou uma abordagem "neuro-IA", unindo inteligência artificial e biológica através da Tarefa de Risco do Balão Analógico (BART).

• Agentes de RL Profundo: Os autores treinaram 400 agentes de RL profundo com inicialização aleatória usando uma arquitetura Actor-Critic com Otimização de Política Próxima (PPO). Os agentes foram treinados em um "meta-BART", uma variação onde o tamanho médio do balão ($\mu$) variava entre as épocas. Os agentes foram avaliados em um conjunto de 17 condições de $\mu$ fixo.
• Classificação de Agentes: As atividades dos nós da camada recorrente foram analisadas usando agrupamento k-means (inicialmente $k=12$, reduzido para 6 após ajustes de simetria). Os agentes foram classificados em três tipos baseados nas proporções de nós. Dois fenótipos comportamentais distintos emergiram: "Tipo 1" (posteriormente denominado Bimodal) e "Tipo 3" (posteriormente denominado Explorer [Explorador]).
• Análise de Dinâmica Neural: Os autores analisaram as trajetórias das ativações da camada recorrente dos agentes em um espaço de Análise de Componentes Principais (PCA) 3D. Eles estimaram um "eixo de tamanho do balão" usando regressão de Mínimos Quadrados Parciais (PLS) para projetar as trajetórias neurais e avaliar sua estrutura geométrica (ex: cascos convexos, bimodalidade).
• Coleta de Dados Humanos: 44 pacientes com epilepsia resistente a drogas submetidos a monitoramento intracraniano (estereo-eletroencefalografia com microfios) realizaram uma tarefa BART computadorizada. A atividade de unidade única foi registrada a partir do córtex frontal medial (ACC, vmPFC) e do lobo temporal mesial (MTL).
• Classificação Humana: Os participantes humanos foram agrupados em grupos "Bimodal" e "Explorer" com base em métricas comportamentais (pontuação total, taxa de estouro e tempo médio de inflação entre as distribuições de balões vermelhos, laranjas e amarelos).
• Comparação Cross-Domain: Ensembles neuronais de participantes humanos foram agrupados em "pseudo-ensembles" correspondentes às estratégias comportamentais Bimodal e Explorer. Eles foram analisados utilizando os mesmos métodos de PCA e PLS aplicados aos agentes para comparar geometrias de trajetórias neurais, similaridade representacional e variância explicada.

Principais Contribuições e Resultados

1. Emergência de Estratégias Distintas nos Agentes:

   • Agentes Bimodais (Tipo 1): Estes agentes adotaram uma estratégia eficiente e adaptativa ao risco. Eles inflaram menos os balões menores e mais os balões maiores, resultando em pontuações totais mais altas sem uma taxa de estouro significativamente maior. Suas trajetórias neurais formaram representações de baixa dimensão que segregavam estados seguros e arriscados. Especificamente, suas trajetórias se agruparam bimodalmente próximos às bordas do eixo de tamanho do balão, e o eixo de tamanho alinhou-se estreitamente com o primeiro componente principal (PC1).
   • Agentes Exploradores (Tipo 3): Estes agentes exibiram uma estratégia cautelosa e menos bem-sucedida, explorando lentamente o espaço de contingência de recompensa. Suas trajetórias neurais foram enviesadas, unimodais e emaranhadas, com o eixo de tamanho organizado ortogonalmente ao PC1.

2. Predição do Comportamento Humano:

   • Participantes humanos naturalmente se segregaram em grupos Bimodal e Explorer com proporções semelhantes à distribuição dos agentes.
   • Humanos Bimodais: Assim como seus equivalentes artificiais, alcançaram pontuações significativamente mais altas e tempos de inflação mais longos para balões de alta recompensa (amarelos) em comparação com os de baixa recompensa (vermelhos).
   • Humanos Exploradores: Mostraram um aumento mais gradual nos tempos de inflação entre os tipos de balões e um desempenho inferior.

3. Convergência de Geometrias Neurais:

   • Fatorização de Baixa Dimensão: Ensembles neuronais de humanos bimodais exibiram trajetórias neurais notavelmente semelhantes às dos agentes bimodais. Essas trajetórias descreviam arcos em torno de um eixo ordenado de tamanho do balão que segregava claramente o valor esperado de diferentes cores de balão. Os cascos convexos 2-D dessas trajetórias aumentaram para balões com maiores inflações médias, indicando um modelo preditivo robusto.
   • Emaranhamento nos Exploradores: Em contraste, os ensembles dos humanos exploradores careciam dessa geometria estruturada de baixa dimensão. Suas trajetórias não mostraram os mesmos padrões de coatividade ou segregação clara ao longo do eixo de tamanho.
   • Análise de Similaridade Representacional (RSA): A RSA revelou que os padrões de atividade neural dos bimodais correlacionavam-se significativamente com os tamanhos de balão previstos (codificando relações de tamanho físico), enquanto os padrões dos exploradores mostraram correlações negativas ou ausentes.
   • Fronteiras de Decisão: Distâncias de centroides pareadas indicaram que os humanos bimodais comprimiram seu espaço de estados em torno de fronteiras comportamentalmente relevantes, tratando balões de valor médio e alto como uma categoria unificada "digna de inflar" (Vermelho distinto de Laranja/Amarelo). Os exploradores colapsaram as representações de Vermelho e Laranja, enquanto separaram o Amarelo.

4. Contribuições Anatômicas:

   • Nos participantes bimodais, o córtex pré-frontal ventromedial (vmPFC) contabilizou a maior parte da variância no PC1 (72,9%), sugerindo consideração prospectiva de categorias de valor/risco.
   • Nos participantes exploradores, o córtex cingulado anterior (ACC) contabilizou uma proporção maior de variância no PC1 (56,0%), potencialmente indicando um foco no monitoramento de erros de predição de recompensa em vez de construir um modelo da tarefa.
   • Análises de controle confirmaram que essas diferenças geométricas não eram artefatos de disparidades no tamanho da amostra ou amostragem anatômica desigual.

Significância
O artigo afirma que computações dinâmicas específicas, caracterizadas por manifolds neurais de baixa dimensão e fatorizadas, fundamentam a inferência bem-sucedida sobre resultados incertos. O estudo demonstra que agentes de RL profundo podem gerar espontaneamente fenótipos comportamentais distintos e geometrias neurais associadas que espelham os encontrados em ensembles neuronais humanos.

A principal significância reside na convergência de sistemas artificiais e biológicos: a estratégia "Bimodal", que sustenta uma gestão de risco eficiente, é subjacada por trajetórias de baixa dimensão e não emaranhadas, que permitem uma leitura organizada da atividade neural. Isso sugere que o céreão humano comprime espaços de estado probabilísticos complexos em dinâmicas de baixa dimensão em manifolds para simplificar a tomada de decisão. Os achados apoiam a hipótesia "Neuro-IA" de que redes artificiais podem servir como modelos válidos para desvendar as computações dinâmicas que fundamentam processos cognitivos de alto nível, distinguindo especificamente entre inferência baseada em modelo (Bimodal) e estratégias de monitoramento de erro ou livres de modelo (Explorer). Os autores observam limitações quanto às regiões cerebrais específicas amostradas (devido a restrições clínicas em pacientes com epilepsia) e à abstração dos agentes de RL, mas concluem que o alinhamento de espaços latentes entre agentes biológicos e artificiais revela princípios algorítmicos compartilhados da tomada de decisão.