BioLLMAgent: A Hybrid Framework with Enhanced Structural Interpretability for Simulating Human Decision-Making in Computational Psychiatry

O artigo apresenta o BioLLMAgent, um novo framework híbrido que combina modelos de aprendizado por reforço validados com a capacidade generativa de modelos de linguagem grandes para simular a tomada de decisão humana na psiquiatria computacional, oferecendo tanto realismo comportamental quanto interpretabilidade estrutural para testar hipóteses mecanicistas e estratégias de intervenção.

O essencial

Imagine que você está tentando entender por que as pessoas tomam decisões ruins, especialmente quando estão viciadas em algo (como drogas ou jogos de azar). Os cientistas têm duas ferramentas principais para estudar isso, mas cada uma tem um grande defeito:

1. A "Calculadora" (Modelos Matemáticos): São como calculadoras superprecisas. Elas seguem regras rígidas de matemática para prever o que alguém vai fazer. O problema? Elas são muito "robóticas". Não conseguem capturar a bagunça, a criatividade e os pensamentos complexos da mente humana. Elas são fáceis de entender, mas não parecem pessoas reais.
2. O "Ator" (Inteligência Artificial Generativa/LLMs): São como atores de teatro incríveis. Eles conversam, agem e reagem de forma muito realista, parecendo humanos de verdade. O problema? Ninguém sabe como eles pensam. É uma "caixa preta". Você não consegue ver as engrenagens internas para entender por que eles tomaram aquela decisão.

A Solução: O BioLLMAgent

Os autores deste artigo criaram um "Frankenstein" científico (no bom sentido!) chamado BioLLMAgent. Eles juntaram a melhor parte das duas ferramentas acima para criar um "paciente virtual" que é ao mesmo tempo realista e explicável.

Pense no BioLLMAgent como um piloto de avião com dois sistemas de navegação:

• O Piloto Automático (O Motor RL Interno): É a parte matemática. Ele aprende com a experiência, como quando você queima a mão no fogão e aprende a não tocar de novo. Ele calcula o valor das coisas baseado em recompensas e punições passadas. É a parte que os cientistas conseguem ler e entender perfeitamente.
• O Copiloto Humano (A Casca Externa LLM): É a parte da Inteligência Artificial conversacional. Ela traz o "senso comum", crenças, conselhos de um terapeuta ou até mesmo a personalidade do paciente. Ela age como se estivesse pensando em voz alta.

Como eles trabalham juntos?

Imagine que o Piloto Automático diz: "Vou escolher o baralho A porque ele deu dinheiro antes!" (baseado em dados frios).
Mas o Copiloto diz: "Ei, espere. O terapeuta me disse que baralhos com prêmios grandes agora geralmente dão prejuízo depois. Vamos ser mais cautelosos."

O BioLLMAgent tem um mecanismo de fusão (um botão de volume) que mistura essas duas vozes.

• Se o botão estiver no "Piloto Automático", o agente age como um robô matemático.
• Se o botão estiver no "Copiloto", ele age mais como um humano influenciado por conselhos.
• O segredo é que os cientistas podem ajustar esse botão e ver exatamente como a decisão muda, mantendo a explicação matemática intacta.

O que eles descobriram?

Eles testaram esse sistema em um jogo de cartas famoso chamado "Jogo de Apostas de Iowa" (onde você escolhe entre baralhos que dão muito dinheiro agora mas dão prejuízo no final, e baralhos que dão pouco agora mas dão lucro no final).

1. Funciona de verdade: O agente conseguiu imitar perfeitamente o comportamento de pessoas reais, tanto saudáveis quanto viciadas.
2. É explicável: Eles conseguiram "ler a mente" do agente e descobrir quais parâmetros matemáticos estavam errados nas pessoas com vícios (como se elas fossem muito sensíveis a recompensas imediatas).
3. Simula Terapia: Eles conseguiram "programar" o Copiloto para dar conselhos de Terapia Cognitivo-Comportamental (TCC). Quando o agente recebia esses conselhos, ele começava a tomar decisões melhores, especialmente os que simulavam viciados.
4. Aprendizado em Rede: Eles criaram uma "cidade" de 100 desses agentes. Descobriram que tentar educar todos os agentes (campanha comunitária) funcionou muito melhor do que tentar tratar apenas os "piores" casos individualmente.

Em resumo:

O BioLLMAgent é como um laboratório de simulação de realidade virtual para a mente. Ele permite que os cientistas testem hipóteses sobre vícios e tratamentos sem precisar colocar pessoas reais em risco. Eles podem dizer: "E se mudarmos a personalidade do paciente?" ou "E se dermos esse conselho específico?" e ver o resultado instantaneamente, sabendo exatamente qual parte da "máquina" causou a mudança.

É uma ponte entre a precisão fria da matemática e a complexidade quente da mente humana, abrindo novas portas para entender e tratar problemas de saúde mental.

Resumo técnico

Resumo Técnico: BioLLMAgent

1. O Problema

A psiquiatria computacional enfrenta um dilema fundamental ao modelar a tomada de decisão humana:

• Modelos de Aprendizado por Reforço (RL) Tradicionais: Oferecem alta interpretabilidade estrutural (parâmetros cognitivos claros, como sensibilidade a recompensas ou aversão a perdas), mas carecem de realismo comportamental. Eles frequentemente falham em capturar nuances contextuais, variabilidade e a complexidade narrativa das escolhas humanas.
• Agentes Baseados em Grandes Modelos de Linguagem (LLMs): Geram comportamentos altamente realistas e contextuais, simulando pacientes virtuais com eficácia. No entanto, são "caixas-pretas" sem interpretabilidade estrutural. Suas decisões emergem de bilhões de parâmetros opacos, não fundamentados em teorias psicológicas ou neurocientíficas validadas, o que impede a descoberta de mecanismos causais.

O objetivo do trabalho é superar essa compensação (trade-off) criando um framework que combine o realismo comportamental dos LLMs com a interpretabilidade matemática dos modelos computacionais tradicionais.

2. Metodologia: O Framework BioLLMAgent

O BioLLMAgent é um framework híbrido modular que integra três componentes principais para simular a tomada de decisão em tarefas como o Iowa Gambling Task (IGT) e o Delay Discounting Task:

1. Motor Interno de RL (Internal RL Engine):

   • Implementa modelos cognitivos validados (especificamente o modelo Outcome-Representation Learning - ORL).
   • Simula a aprendizagem baseada em experiência direta (drive endógeno), atualizando valores esperados (EV), frequências esperadas (EF) e perseveração (PS) com base nos resultados observados.
   • Mantém a interpretabilidade através de parâmetros cognitivos recuperáveis (ex: taxas de aprendizado para recompensa e punição).

2. Shell Externo de LLM (External LLM Shell):

   • Atua como um "drive exógeno", capturando crenças de alto nível, estratégias cognitivas ou instruções externas (ex: conselhos de um terapeuta).
   • Utiliza prompts de persona para simular um agente que completa a tarefa.
   • O processo converte a saída dinâmica do LLM (distribuições de probabilidade por tentativa) em um prior estático de utilidade ($\Pi_{util}$) através de agregação e escalonamento, permitindo sua fusão matemática com o motor RL.

3. Mecanismo de Fusão de Decisão (Decision Fusion Mechanism):

   • Integra os dois componentes através de uma média ponderada das utilidades:
     $$U_{Combined} = (1 - \omega) \cdot U_{RL} + \omega \cdot \Pi_{util}$$
   • O hiperparâmetro $\omega$ (peso do prior externo) controla o equilíbrio entre a aprendizagem interna (RL) e a influência externa (LLM).
   • A ação final é selecionada via função Softmax sobre a utilidade combinada.

3. Contribuições Principais

• Arquitetura Híbrida Interpretável: Propõe uma estrutura onde o LLM não substitui o modelo cognitivo, mas o complementa como um prior controlável, mantendo a capacidade de inferência sobre os mecanismos cognitivos subjacentes.
• Validação Rigorosa: O framework foi testado em 6 conjuntos de dados do IGT (incluindo controles saudáveis e usuários de anfetamina/heróina) e validado em uma segunda tarefa (Delay Discounting), demonstrando generalização.
• Simulação de Intervenções In Silico: Capacidade de codificar princípios de terapias (como Terapia Cognitivo-Comportamental - TCC) diretamente nos prompts do LLM para observar seus efeitos na tomada de decisão simulada.
• Dinâmicas Sociais em Rede: Demonstração de simulações multi-agente em larga escala para testar estratégias de intervenção em nível populacional.

4. Resultados Chave

• Reprodução Comportamental: O BioLLMAgent (com prior neutro) reproduz com alta fidelidade os padrões de comportamento humano e do modelo ORL puro (correlação $r > 0.95$), provando que a adição do LLM não degrada a base teórica.
• Identificabilidade de Parâmetros: Os parâmetros cognitivos centrais do motor RL (ex: $\beta_F$, $\beta_P$) foram recuperados com alta precisão ($r > 0.84$), confirmando que o framework mantém a interpretabilidade científica necessária.
• Controllabilidade do LLM:
  • Modelos grandes (GPT-4o, DeepSeek) seguiram instruções de prompts (ex: seleção uniforme ou princípios de TCC) com alta aderência.
  • Modelos menores (Llama-3.2, Gemma-3) mostraram resistência a instruções, indicando que o framework depende de LLMs de grande escala (>70B parâmetros) para controle preciso.
• Efeitos de Intervenção:
  • TCC Simulada: A codificação de princípios de TCC nos prompts levou a um aumento significativo na escolha de opções vantajosas, especialmente em populações clínicas.
  • Intervenção em Rede: Simulações em redes complexas mostraram que intervenções de Educação Comunitária (cobertura de 100%) superaram significativamente tratamentos direcionados a indivíduos ou nós centrais, alcançando a maior pontuação de saúde média (0.950 vs 0.750).
• Generalização: O framework demonstrou sucesso ao trocar o motor RL (de ORL para Desconto Hiperbólico) na tarefa de Delay Discounting, mantendo a eficácia do mecanismo de fusão.

5. Significado e Impacto

O BioLLMAgent representa um avanço significativo na psiquiatria computacional ao oferecer um "sandbox computacional" para:

1. Testar Hipóteses Mecanísticas: Permite investigar como fatores externos (terapia, educação) interagem com processos internos de aprendizagem em populações específicas.
2. Personalização de Tratamento: O parâmetro $\omega$ pode servir como um biomarcador quantitativo para prever a suscetibilidade de um paciente a intervenções externas.
3. Descoberta de Políticas Públicas: As simulações de rede sugerem que intervenções populacionais amplas podem ser mais eficazes do que tratamentos focados em indivíduos para problemas de tomada de decisão em larga escala.

Em suma, o trabalho preenche a lacuna entre a modelagem matemática rigorosa e a simulação comportamental realista, permitindo que pesquisadores explorem mecanismos de déficits de decisão e estratégias de intervenção com um nível de controle e interpretabilidade anteriormente inatingível.