🤖 machine learning

A Transdiagnostic Space of Disorder Like Phenotypes in Reinforcement Learning Agents

Este artigo introduz um framework transdiagnóstico para modelar sete transtornos psicológicos em agentes de aprendizagem por reforço através da manipulação de sinais de avaliação cognitiva, demonstrando que esses fenótipos induzidos formam um espaço afetivo controlável e dose-dependente que não apenas replica sintomas de transtornos, mas também prevê respostas ao tratamento e interações comórbidas em diferentes ambientes.

Autores originais: Hari Prasad

Publicado 2026-07-10

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Hari Prasad

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um amigo robô aprendendo a navegar em um labirinto. Normalmente, ensinamos robôs a serem perfeitos: encontrar o objetivo, evitar a lava, obter a pontuação alta. Mas e se quiséssemos entender por que os humanos às vezes ficam presos em ciclos de preocupação, comportamentos imprudentes ou tristeza profunda? Em vez de apenas observar as pessoas, este artigo constrói um "simulador de transtornos" dentro do céreuro de um robô.

Os pesquisadores não apenas alteraram o código do robô para fazê-lo agir de forma estranha. Em vez disso, eles construíram um "painel emocional" especial chamado Appraisal (Avaliação). Pense neste painel como um conjunto de seis mostradores que medem constantemente como o robô se sente em relação à sua situação: Isso é importante? É seguro? Eu sei o que está acontecendo? Eu consigo lidar com isso?

A grande descoberta? Ao girar apenas um único botão nesse painel, eles conseguiram fazer o robô desenvolver um comportamento específico "semelhante a um transtorno". Eles não programaram o robô para ser ansioso ou viciado; eles apenas ajustaram um único número, e o cérebro do robô descobriu o comportamento ruim por conta própria.

Os Sete "Botões" do Problema

A equipe criou sete "botões" diferentes, cada um fundamentado em teorias psicológicas reais. Veja o que acontece quando você gira cada um deles:

O Botão da Ansiedade: Faz o robô ficar hiperconsciente de ameaças. Ele para de assumir riscos e começa a evitar tudo, mesmo que isso signifique perder o grande prêmio. É como uma pessoa que se recusa a sair de casa porque a rua pode ter um cachorro.
O Botão da Mania: É o exato oposto da ansiedade. O robô torna-se imprudente, buscando o perigo e a lava em vez de evitá-los. É o espelho da ansiedade, impulsionado por uma sensação de que tudo é seguro e emocionante, mesmo quando não é.
O Botão do TOC: Faz o robô verificar as coisas repetidamente. Imagine um robô que fica voltando a uma porta para verificar se ela está trancada, mesmo que ele tenha acabado de verificar. Quanto mais ele verifica, menos tranquilizado se sente, então verifica novamente.
O Botão da Depressão: Adiciona um "custo" a cada passo que o robô dá. Movimentar-se torna-se exaustivo. O robô para de tentar alcançar o objetivo porque o esforço parece pesado demais, embora ele ainda possa fazê-lo.
O Botão da Impulsividade: Faz o robô se importar apenas com o agora. Ele agarra um pequeno mimo que está bem à sua frente em vez de esperar por uma recompensa enorme que está a alguns passos de distância.
O Botão do Vício: Introduz um "bloco de droga" que dá uma recompensa massiva e interminável. O robô ignora o objetivo real para perseguir esse bloco, eventualmente esquecendo a missão inteira.
O Botão do TEPT (Transtorno de Estresse Pós-Traumático): Coloca um "choque" no caminho mais curto para o objetivo. O robô aprende a fazer um desvio longo e sinuoso para evitar aquele ponto específico, mesmo que o desvio seja terrível.

A Magia da "Dose"

A parte mais legal é que estes não são apenas interruptores de "ligado" ou "desligado". Os pesquisadores puderam girar os botões para cima ou para baixo como um controle de volume. Eles rodaram a simulação 1.375 vezes com diferentes configurações. Descobriram que, conforme giravam o botão para cima, o comportamento ruim piorava em uma linha suave e previsível. Se girassem para baixo, o robô melhorava. Isso prova que o comportamento não era um erro de programação (glitch); era uma resposta direta à "dose" do sinal emocional.

A Surpresa: O Cérebro do Robô se Organiza Sozinho

É aqui que o artigo fica realmente interessante. Os pesquisadores não disseram ao robô como organizar esses comportamentos. Eles apenas giraram os botões. Mas, quando traçaram os resultados, os transtornos se organizaram em um mapa nítido:

Ansiedade e Mania eram opostos perfeitos, situados em lados opostos do mapa.
Vício e Impulsividade empurravam o robô para o "excesso de busca" pelas coisas.
Depressão puxava o robô para a "retirada/isolamento".

É como se o cérebro do robô naturalmente classificasse esses comportamentos caóticos em uma estrutura lógica, apenas aprendendo com os sinais.

O Experimento da "Cura"

A equipe também tentou "curar" os robôs desligando os botões. Os resultados foram surpreendentes e coincidiram com a lógica da terapia humana:

As Correções Fáceis: Para os transtornos de "distorção de recompensa" (como Mania, TOC e Vício), simplesmente desligar o botão fez o robô voltar ao normal imediatamente. O mau hábito não estava profundamente enraizado.
As Correções Difíceis: Para os transtornos de "evitação" (como Ansiedade e TEPT), apenas desligar o botão não funcionou. O robô continuava evitando o caminho assustador porque havia aprendido o hábito de manter-se seguro. Ele precisava de uma terapia de "exposição gradual": os pesquisadores tiveram que forçar gentilmente o robô a enfrentar o caminho assustador novamente, passo a passo, até que ele percebesse que estava seguro. Isso imita como a terapia real funciona para seres humanos com ansiedade.

O Que Isso Não É

É importante saber o que este artigo não diz.

Estes robôs não são humanos. Eles não têm sentimentos, memórias ou traumas no sentido humano. Eles são modelos matemáticos.
Os pesquisadores não programaram o robô para "estar ansioso". Eles programaram um sinal, e a ansiedade surgiu como um efeito colateral.
Eles não provaram que estes são os únicos causadores desses transtornos em pessoas reais. Eles apenas mostraram que esses mecanismos específicos são suficientes para criar os comportamentos em uma simulação.

O Teste Final: Funciona em 3D?

Para garantir que isso não era apenas um truque do simples labirinto 2D, eles testaram três dos transtornos (Depressão, Vício, Ansiedade) em um robô com câmera, navegando em um mundo de pixels 3D (como um videogame). Os mesmos botões funcionaram exatamente da mesma forma. O robô ficou deprimido, viciado ou ansioso, mesmo sem o "painel" especial que os pesquisadores usaram no primeiro teste. Isso sugere que o problema não está nos olhos ou no cérebro do robô; é a maneira como os "sinais de recompensa" estão estruturados.

A Conclusão

Este artigo sugere que podemos modelar lutas humanas complexas, como ansiedade ou vício, ajustando sinais matemáticos simples em um agente de aprendizagem. Mostra que esses transtornos podem ser pontos diferentes em um mapa compartilhado de como processamos recompensas e ameaças. Mais importante ainda, sugere que corrigir esses problemas pode exigir estratégias diferentes: às vezes, você só precisa remover o sinal ruim, mas outras vezes, você precisa ativamente retreinar o hábito. Isso transforma o estudo da saúde mental de apenas observar o que dá errado em um campo de testes onde podemos testar exatamente como consertar.

Resumo Técnico: Um Espaço Transdiagnóstico de Fenótipos Semelhantes a Transtornos em Agentes de Aprendizado por Reforço

Declaração do Problema

Agentes de Aprendizado por Reforço (RL) implantados em sistemas de saúde e voltados para humanos requerem estabilidade afetiva; erros de estimativa de valor podem levar a modos de falha catastróficos, como esquiva, perseveração ou imprudência. Embora trabalhos anteriores tenham tentado modelar transtornos psicológicos em agentes, eles sofrem de três fraquezas primárias:

Falta de Fundamentação Mecanística: As manipulações são frequentemente heurísticas ajustadas manualmente em vez de derivadas de contas da psiquiatria computacional, resultando em mapeamentos imprecisos para construtos clínicos.
Rotulagem Post-hoc: Os comportamentos são rotulados após a observação (ex: "isso parece TOC") em vez de serem medidos contra critérios pré-registrados, convidando ao viés de confirmação.
Falta de Rigor: Os resultados são tipicamente reportados como execuções únicas sem variância, controles ou análise de dose-resposta.

Além disso, os modelos de psiquiatria computacional existentes frequentemente ajustam tarefas abstratas ao comportamento, mas não conseguem manipular continuamente a severidade do transtorno ou observar a trajetória completa da saúde para a patologia e vice-versa.

Metodologia

A Arquitetura AG-PPO

Os autores introduzem o AG-PPO (Proximal Policy Optimization Guiado por Avaliação), um agente que integra a Teoria da Avaliação (Lazarus, 1991; Scherer, 2001) no loop de RL.

Arquitetura: Um codificador convolucional compartilhado processa observações simbólicas egocêntricas (7×7×3). A saída alimenta tanto um Ator quanto um Crítico.
Vetor de Avaliação ( $\zeta$ ): O Crítico consome adicionalmente um vetor de avaliação de seis dimensões $\zeta_t$ $ζ_{t}$ , computado a cada passo:
1. Relevância Motivacional ( $\zeta_{MR}$ ): Função da distância do objetivo do agente.
2. Congruência de Objetivo ( $\zeta_{GC}$ ): Alinhamento geométrico com os objetivos.
3. Certeza ( $\zeta_{C}$ ): Derivada da entropia da política.
4. Novidade ( $\zeta_{N}$ ): Derivada da divergência KL contra uma política uniforme.
5. Potencial de Enfrentamento ( $\zeta_{CP}$ ): Fração de ameaças fora da visão do agente.
6. Antecipação ( $\zeta_{A}$ ): Complemento do erro de predição da próxima recompensa (fornecido por uma rede de Estimativa de Próxima Recompensa).
Modelagem de Recompensa (Reward Shaping): A recompensa do ambiente $r_t$ é modificada por uma função de modelagem $r'_t = r_t - \sum w_i g_i(\zeta_t) + \text{termos específicos}$ . Crucialmente, cada transtorno é induzido pela ativação de exatamente um termo nesta equação ou pela modificação do fator de desconto $\gamma$ .

Mecanismos de Transtornos (Os "Botões")

Sete transtornos são modelados como "botões" controláveis por dose, cada um fundamentado em uma conta específica da psiquiatria computacional:

Ansiedade: Penaliza o baixo potencial de enfrentamento (hipervigilância a ameaças).
Mania: Penaliza o alto potencial de enfrentamento (hipersensibilidade à recompensa/busca por ameaças).
TOC (Verificação): Concede um bônus decrescente por revisitar pontos de verificação (modelando o diminutivo do conforto/reasseguramento).
Depressão: Impõe um custo de esforço por passo ao movimento (reduzindo a ativação comportamental).
Impulsividade: Reduz o fator de desconto $\gamma$ (desconto de atraso acentuado).
Vício: Adiciona um bônus não habituante para blocos de droga (saliência de incentivo sem limite).
TEPT: Aplica um choque condicionado em um bloco de trauma, causando generalização de esquiva.

Protocolo Experimental

Ambientes: Quatro mundos de grade de ameaça/espaciais (Dynamic-Obstacles, LavaGap, LavaCrossing, Approach-Avoidance, Temporal-Choice, Addiction, Trauma) e um ambiente de pixels 3D (MiniWorld).
Ensaios: Os ensaios de sintomas primários foram pré-registrados para cada transtorno (ex: escolha de objetivo de risco para ansiedade, taxa de verificação para TOC).
Controles: Quatro condições de controle foram usadas: PPO Padrão, Ruído no Crítico (vetor aleatório), PPO+RND (motivação intrínseca) e Crítico de Avaliação sem modelagem de recompensa.
Rigor Estatístico: Experimentos rodaram 1.375 configurações em 10 sementes (intervalos de confiança de 95%).

Principais Resultados

1. Resposta Dose-Resposta Graduada

Em todos os sete transtornos, o aumento da "dose" do botão produziu uma resposta graduada e monótona no ensaio de sintoma primário. Os controles falharam em reproduzir esses fenótipos, confirmando que os efeitos derivam dos mecanismos de modelagem específicos, e não de motivação intrínseca ou ruído genérico.

2. Estrutura Transdiagnóstica Emergente

Os transtornos se auto-organizam em um espaço afetivo bidimensional (Recompensa-Aproximação vs. Ameaça-Esquiva) sem que essa estrutura fosse explicitamente codificada na recompensa:

Mania e Ansiedade emergiram como espelhos exatos através da origem (busca desinibida vs. esquiva hipervigilante).
TOC ocupou uma dimensão distinta (compulsividade) ortogonal ao plano principal.
Depressão mapeou para o retraimento; Vício e Impulsividade para a sobre-busca.

3. Dissociação de Tratamento (Resgate vs. Resistência)

Os autores testaram o "tratamento" removendo o botão patológico após o treinamento:

Transtornos de Distorção de Recompensa (Mania, TOC, Vício): Os sintomas remitiram imediatamente após a remoção do botão, conforme o gradiente de objetivo voltou a predominar.
Transtornos de Hábito/Esquiva (Ansiedade, TEPT, Depressão, Impulsividade): Os sintomas resistiram à remoção passiva. Os agentes mantiveram suas políticas desadaptativas porque o comportamento de esquiva impedia o encontro de evidências que as desconfirmassem.
Resolução: Os transtornos resistentes (Ansiedade, TEPT) só foram recuperados via um currículo de exposição graduada (penalizando a rota de esquiva), espelhando a terapia de exposição clínica.

4. Comorbidade Emergente

Quando dois botões eram ativados simultaneamente, a interação era não-aditiva:

Mania × Impulsividade: A impulsividade (desconto acentuado) suprimiu a letalidade da mania. O agente maníaco, em sua aproximação temerária à lava, exigia um compromisso de múltiplos passos, algo que o agente impulsivo e míope não realizaria.
Ansiedade × Depressão: A depressão severa (alto custo de esforço) sobrepôs-se à leitura de ansiedade; o agente cessava totalmente a ação, impedindo a expressão da esquiva.

5. Generalização para Ambientes de Pixels 3D

Três transtornos (Depressão, Vício, Ansiedade) foram transferidos para um ambiente de pixels 3D (MiniWorld) usando um agente CNN padrão sem o crítico de avaliação.

As mesmas assinaturas fenotípicas emergiram (ex: depressão reduziu o movimento para frente; vício aumentou a ocupação de drogas).
A dissociação entre ensaios manteve-se: o botão de depressão não aumentou a ocupação de drogas, e o botão de ansiedade não suprimiu a locomoção. Isso confirma que os mecanismos são propriedades da estrutura de recompensa, e não específicos do ambiente de grade ou da arquitetura do crítico de avaliação.

Significância e Alegações

O artigo afirma estabelecer um substrato controlável e fundamentado para estudar fenótipos afetivos em agentes artificiais. Suas principais contribuições são:

Da Descrição à Manipulação: Ele desloca a modelagem de transtornos da rotulagem post-hoc para uma ciência falsificável onde a severidade é continuamente ajustável via parâmetros únicos e interpretáveis.
Paralelos Clínicos Emergentes: O framework reproduz fenômenos clínicos complexos (ex: a resistência de transtornos de esquiva à remoção passiva de estressores, a natureza não-aditiva de comorbidades) sem programá-los explicitamente. Estes são propriedades emergentes da interação entre a dinâmica de aprendizado do agente e a recompensa modelada.
Framework Unificado: Demonstra que uma única arquitetura de agente pode modelar indução, organização estrutural (espaço transdiagnóstico) e tratamento (resgate/extinção) para múltiplos transtornos simultaneamente.
Especificidade Mecanística: Os resultados de dissociação confirmam que botões específicos visam dimensões de sintomas específicas sem contaminação cruzada, validando a fundamentação mecanística da abordagem.

Os autores concluem que os pesos de avaliação parametrizam um espaço onde os mesmos mecanismos que induzem um transtorno também podem modelar seu tratamento, oferecendo um novo campo de teste para a psiquiatria computacional e uma lente sobre as falhas de controle afetivo no RL.