Resumo Técnico: A Compressão da Função de Recompensa Facilita o Aprendizado por Reforço Dependente de Objetivos

Problema

O aprendizado por reforço (RL) em humanos estende-se além das recompensas primárias e secundárias para incluir resultados flexíveis e dependentes de objetivos, onde estímulos novos e abstratos são dotados de valor com base nos objetivos atuais. Embora essa flexibilidade permita que os humanos busquem diversos objetivos, ela é cognitivamente custosa e frequentemente reduz a eficiência do aprendizado. Os mecanismos cognitivos precisos pelos quais os humanos alinham seus sistemas de valor aos objetivos atuais, e por que esse alinhamento é difícil de manter, permanecem não caracterizados. Especificamente, não está claro como o cérebro gerencia o equilíbrio entre a flexibilidade de atribuir valor a resultados novos e a eficiência de aprender com eles. Trabalhos anteriores sugerem que o aprendizado dependente de objetivos depende da memória de trabalho (WM), mas o processo específico pelo qual essa dependência transita para um processamento mais automático e eficiente é desconhecido.

Metodologia

Os autores conduziram seis experimentos (quatro primários e dois suplementares) usando uma tarefa de RL modificada onde os participantes aprendiam mapeamentos de estímulo-resposta por tentativa e erro.

Desenho Experimental

• Estrutura da Tarefa: Os participantes visualizavam seis estímulos e tinham que aprender a tecla correta para cada um. O feedback era determinístico.
• Condições:
  • Blocos de Pontos (Linha de Base): O feedback consistia em pontos numéricos padrão ("+1" para correto, "+0" para incorreto).
  • Blocos de Objetivos (Goals): O feedback consistia em imagens fractais abstratas rotuladas como "Objetivo" ou "Não-objetivo". Os participantes tinham que aprender quais ações levavam à imagem de "Objetivo".
• Coleta de Recompensa: Em todos os blocos, os participantes eram obrigados a pressionar uma tecla separada para "coletar" resultados desejáveis (pontos ou imagens de objetivo) e ignorar os indesejáveis. Os tempos de reação (RTs) para esta fase de coleta foram registrados como um proxy comportamental para a eficiência do processamento de recompensa.

Manipulações Específicas

• Experimento 1 (Carga de WM): Variou o número de pares únicos de Imagem de Objetivo/Não-objetivo por bloco (1, 2, 3 ou 4 pares). O número total de tentativas permaneceu constante, mas o tamanho do espaço de objetivos aumentou, aumentando a carga de WM necessária para manter a regra do objetivo.
• Experimento 2 (Compressibilidade): Manteve o número de imagens de objetivo únicas constante (8 imagens no total), mas manipulou a complexidade da regra.
  • Compressível: Uma única característica (ex: cor) distinguia todas as imagens de Objetivo das de Não-objetivo.
  • Incompressível: Todas as três características (forma, cor, preenchimento) eram necessárias para distinguir Objetivo de Não-objetivo (uma regra conjuntiva).
• Experimentos Suplementares (3–6): Estes reanalisaram dados anteriores ou introduziram novos controles para descartar mecanismos alternativos, como efeitos simples de repetição, atribuição de valor top-down sem compressão ou interferência de rotulagem inconsistente.

Modelagem Computacional

Os autores ajustaram uma família de modelos computacionais baseados em uma arquitetura padrão de RL (regra delta para atualizações de valor, política softmax para seleção de ação).

• Modelo Base: Incluiu parâmetros para taxa de aprendizado ($\alpha$), multiplicador de resultado negativo ($\zeta$), ruído ($\epsilon$), esquecimento ($\phi$) e persistência/stickiness ($\eta$).
• Modelos Avançados: Testaram se parâmetros específicos (taxa de aprendizado, ruído, persistência) variavam por condição.
• Modelos Condicionados por RT: Crucialmente, os autores testaram modelos onde a taxa de aprendizado era diretamente escalonada pela mediana do log do tempo de reação de coleta de recompensa para aquela condição específica. Isso testou a hipótese de que um processamento de recompensa mais rápido (indicando compressão/automação) libera recursos cognitivos para melhorar as taxas de aprendizado.

Principais Resultados

Achados Comportamentais

1. Custo do Aprendizado Dependente de Objetivo: O desempenho de aprendizado foi significativamente menor nos blocos de Objetivos em comparação aos blocos de Pontos, mesmo na condição mais simples de objetivo único, confirmando o custo cognitivo da atribuição de objetivo abstrato.
2. Efeito de Carga de WM (Exp 1): A precisão do aprendizado diminuiu parametricamente conforme o número de pares únicos de Objetivo/Não-objetivo aumentava (de 1 para 4). Isso sugere que manter um espaço de objetivos maior na WM prejudica o processo de aprendizado.
3. Efeito de Compressão (Exp 2): Quando o espaço de objetivos era mantido constante, mas a complexidade da regra variava, a precisão do aprendizado foi significativamente maior nos blocos Compressíveis do que nos blocos Incompressíveis. Isso indica que os ganhos de desempenho são impulsionados pela capacidade de formar uma regra simplificada, e não meramente pela repetição.
4. RTs de Coleta de Recompensa: Tempos de reação de coleta de recompensa mais rápidos correlacionaram-se fortemente com um melhor desempenho de aprendizado em todas as condições. Esta correlação foi específica para os RTs de coleta de recompensa e não para os RTs de escolha, sugerindo que a eficiência de avaliar o resultado (processamento de recompensa) é o gargalo, e não o processo de tomada de decisão em si.
5. Achados Suplementares:
   • A repetição sozinha (Exp 5) não melhorou o aprendizado se o espaço de objetivos excedesse a capacidade da WM.
   • A rotulagem inconsistente entre as tentativas (Exp 6) prejudicou especificamente o aprendizado, apoiando a necessidade de uma regra estável para ser comprimida.

Achados de Modelagem Computacional

• Gargalo de Atualização de Valor: Os modelos de melhor ajuste indicaram que o impacto primário do aprendizado dependente de objetivo ocorreu no estágio de atualização de valor (taxa de aprendizado), e não no ruído de seleção de escolha.
• Taxa de Aprendizado Condicionada por RT: Um modelo onde a taxa de aprendizado era uma função dos RTs de coleta de recompensa forneceu um ajuste melhor e mais parcimonioso aos dados do que modelos com parâmetros livres para cada condição ou modelos onde os RTs afetavam o ruído de escolha.
• Interpretação: Isso apoia a hipótese de que o processamento de recompensa eficiente (via compressão) libera recursos executivos, permitindo uma atualização mais eficaz das associações estímulo-ação.

Principais Contribuições

1. Compressão da Função de Recompensa: O artigo propõe e valida empiricamente um mecanismo onde informações de objetivos de alta dimensão e complexas são comprimidas em uma regra simplificada e estável (uma "função de recompensa comprimida") que pode ser transferida da memória de trabalho para a memória de longo prazo.
2. Mecanismo para Eficiência: Demonstra que este processo de compressão é o fator chave que alivia a carga cognitiva do aprendizado dependente de objetivos, aumentando assim a eficiência do aprendizado.
3. Marcador Comportamental: Identifica o tempo de reação de coleta de recompensa como uma assinatura comportamental específica da compressão da função de recompensa e da eficiência de processamento.
4. Formalização Computacional: Fornece um modelo computacional que liga a eficiência do processamento de recompensa (RT) diretamente às taxas de aprendizado, oferecendo uma explicação formal de como as funções executivas interagem com o RL.

Significância

Os autores afirmam que estas descobertas iluminam os mecanismos cognitivos subjacentes à motivação intrínseca e ao aprendizado direcionado a objetivos. Ao mostrar que o cérebro gerencia o equilíbrio entre flexibilidade e eficiência através da compressão da função de recompensa, o estudo oferece um framework potencial para entender por que alguns objetivos são mais difíceis de alcançar do que outros. Os autores sugerem que estes insights podem informar intervenções comportamentais e estratégias educacionais para apoiar a realização de objetivos humanos, particularmente ao ajudar indivíduos a estruturar objetivos de formas que facilitem a compressão e a automação. O artigo permanece agnóstico quanto à implementação neural específica desta compressão, mas postula que ela depende da interação entre os sistemas de memória de trabalho e de memória de longo prazo.