Illuminating the Three Dogmas of Reinforcement Learning under Evolutionary Light

Resumo Técnico: Iluminando os Três Dogmas do Aprendizado por Reforço sob a Luz Evolutiva

Definição do Problema
O artigo aborda o crescente descompasso entre o formalismo do Aprendizado por Reforço (RL) e a natureza da agência biológica. À medida que os sistemas artificiais transitam de aprendizes passivos para agentes autônomos, o padrão de RL enfrenta três "dogmas" (ou princípios) centrais que os autores argumentam serem insuficientes para uma teoria completa da agência:

1. T1 (Ambiente): O ambiente é formalizado como um Processo de Decisão de Markov (MDP), priorizando a estrutura do ambiente em detrimento de uma teoria formal do agente.
2. T2 (Aprendizado): O aprendizado é definido como otimização de política (busca) em direção a uma solução terminal, negligenciando o conceito de adaptação como um processo aberto.
3. T3 (Objetivo): O agente é definido como um maximizador de uma recompensa escalar, o que os autores argumentam falhar em capturar a natureza multiobjetivo e dependente de contexto dos objetivos biológicos.

Os autores sustentam que, embora críticas recentes (ex: Abel et al., 2024) tenham identificado esses problemas, elas carecem de uma alternativa concreta e biologicamente fundamentada. O artigo busca reestruturar esses dogmas usando a teoria evolutiva e a termodinâmica para fornecer um relato mais fiel da agência adaptativa.

Metodologia e Estrutura Teórica
O artigo emprega um re-enquadramento conceitual em vez de experimentação empírica, baseando-se em três domínios teóricos distintos:

• Algoritmos Evolutivos de Final Aberto (Open-Ended): Utilizando conceitos como nicho (niching), coevolução e critérios mínimos para modelar a adaptação não como convergência para um ótimo, mas como a geração de soluções diversas e incomensuráveis.
• Neurodinâmica Darwiniana: Aproveitando teorias (ex: Szathmáry et al.) que sugerem que mecanismos de seleção evolutiva (replicação com variação, competição e seleção) podem operar dentro do tempo de vida de um único organismo (ex: na dinâmica neural ou no sistema imunológico), preenchendo a lacuna entre a evolução transgeracional e o aprendizado dentro da vida.
• Termodinâmica e Autogênese: Aplicando a termodinâmica de não-equilíbrio e a teoria da autogênese (Deacon et al.) para fundamentar as precondições da evolução. Isso envolve analisar a "negentropia" (automanutenção) e o "cristal aperiódico" (hereditariedade) para explicar como uma unidade autoperseverante surge sem assumir modelos pré-existentes ou designers externos.

Principais Contribuições e Argumentos

1. Reenquadrando a Adaptação (T2): Da Busca à Novidade
Os autores argumentam que a adaptação não deve ser vista meramente como o oposto da busca, mas como um tipo diferente de busca: busca de novidade de final aberto.

• Motores Duplos: A adaptação biológica depende de dois motores complementares: (a) otimização impulsionada pela aptidão (fitness) (resolvendo o conhecido desconhecido) e (b) geração de diversidade de final aberto (abordando o desconhecido desconhecido).
• Mecanismos: O artigo operacionaliza o segundo motor através de três mecanismos:
  • Nicho (Niching): Criação de novos nichos ecológicos para evitar a competição direta.
  • Coevolução: Agentes e ambientes modificando-se mutuamente.
  • Critérios Mínimos: Sobrevivência baseada em limiares de viabilidade binários em vez de otimização baseada em gradiente.
• Implicação: O formalismo padrão do MDP exclui a "incerteza de Knight" (o desconhecido desconhecido). Uma teoria completa da adaptação requer que o segundo motor gere novos objetivos e representações que o primeiro motor possa então explorar.

2. Desconstruindo a Hipótese da Recompensa (T3)
O artigo desafia a "Hipótese da Recompensa" (a suficiência da maximização de recompensa escalar) demonstrando sua falha contra os fundamentos axiomáticos estabelecidos por Bowling et al. (2023):

• Falha de Completude: Processos evolutivos geram soluções incomensuráveis (ex: diferentes espécies em diferentes nichos) que não podem ser classificadas em uma única ordenação de preferência. O objetivo terminal dos agentes biológicos é a autoperseverança e a criação de nichos, não a maximização de um objetivo escalar fixo.
• Falha de Independência: Agentes biológicos operam com múltiplos objetivos instrumentais simultâneos (setpoints homeostáticos para temperatura, pH, osmolaridade, etc.). A urgência relativa desses impulsos é dependente do contexto (ex: um predador altera a prioridade de sede vs. segurança), violando o axioma da Independência, que exige que as preferências permaneçam estáveis independentemente de outras opções.
• Origem das Recompensas: O artigo rastreia a origem das funções de recompensa até os setpoints homeostáticos, que são, eles próprios, produtos da evolução. Isso liga o problema dos objetivos (T3) ao problema da agência (T1).

3. Os Limites da Evolução e o Fundamento Termodinâmico (T1)
Os autores argumentam que apelar para a "evolução" como fonte da agência é insuficiente porque cria um regresso explicativo. A evolução pressupõe uma unidade autorreplicante e automanutenível, mas não explica a origem das precondições dessa unidade.

• Precondição Termodinâmica: Os autores propõem que a cadeia de adiamento (Recompensa $\to$ Homeostase $\to$ Evolução) deve culminar na termodinâmica.
• Autogênese: Eles introduzem o conceito de autogênese (um processo de restrição recíproca entre dois processos dissipativos de autoeliminação) como o mecanismo que gera uma unidade autoperseverante e autorreplicante.
• Definição de Agência: A verdadeira agência é definida não por um designer externo ou um modelo pré-existente, mas por um sistema que produz suas próprias restrições para se manter contra a segunda lei da termodinâmica. Esta unidade "autoproduzente" é a base necessária para a hereditariedade e para a dinâmica evolutiva discutida em T2 e T3.

Resultados e Alegações
O artigo não apresenta resultados experimentais, mas oferece uma síntese teórica com as seguintes alegações:

• Resolução Conceitual: Fornece um vocabulário para distinguir entre aprendizado "instrucional" (baseado em gradiente) e aprendizado "seletivo" (gerando candidatos preexistentes ao problema), argumentando que agentes biológicos requerem ambos.
• Refutação Axiomática: Demonstra que os axiomas necessários para uma função de recompensa escalar (Completude e Independência) são estruturalmente incompatíveis com a natureza multiobjetivo e dependente de contexto da sobrevivência biológica.
• Mudança Fundamental: Postula que uma teoria formal do agente em RL não pode ser construída unicamente sobre a teoria da informação ou algoritmos evolutivos; ela deve ser fundamentada na realidade termodinâmica de um sistema dissipativo de automanutenção.
• Inversão de Informação: Sugere uma inversão do "Dogma Central" da biologia: em vez de um modelo (DNA) ditar um sistema, um sistema de automanutenção (o intérprete) deve existir primeiro para dar significado ao modelo.

Significância
O artigo reivindica significância ao oferecer um "relato mais biologicamente fiel e formalmente fundamentado" do que significa ser um agente adaptativo.

• Para o RL: Sugere que futuros sistemas de IA visando a verdadeira autonomia devem ir além da otimização de recompensa escalar e incorporar mecanismos para busca de novidade de final aberto e homeostase multiobjetivo.
• Para a Segurança/Alinhamento de IA: Ao reenquadrar a agência como uma luta termodinâmica pela autoperseverança, em vez de um problema de otimização matemática, oferece uma nova perspectiva sobre o "problema do alinhamento", sugerindo que os objetivos não são entradas estáticas, mas propriedades emergentes da luta de um sistema para manter sua organização.
• Para a IA de Final Aberto (Open-Ended AI): Alinha-se com as tendências emergentes na IA de fronteira onde princípios evolutivos de final aberto são usados para descoberta automatizada, argumentando que esses mecanismos não são apenas ferramentas de engenharia, mas refletem a própria natureza de como sistemas complexos e adaptativos (incluindo a própria ciência) evoluem.

Os autores concluem que, embora seu relato termodinâmico seja um "pré-requisito necessário" e não uma teoria completa da agência humana, ele fornece o fundamento essencial para qualquer teoria formal da agência que busque explicar como objetivos e recompensas surgem a partir de primeiros princípios.