Illuminating the Three Dogmas of Reinforcement Learning under Evolutionary Light

Resumen Técnico: Iluminando los Tres Dogmas del Aprendizaje por Refuerzo bajo la Luz Evolutiva

Planteamiento del Problema
El artículo aborda la creciente desconexión entre el formalismo del Aprendizaje por Refuerzo (RL, por sus siglas en inglés) y la naturaleza de la agencia biológica. A medida que los sistemas artificiales transitan de aprendices pasivos a agentes autónomos, el marco estándar de RL enfrenta tres "dogmas" (o principios) centrales que los autores argumentan son insuficientes para una teoría completa de la agencia:

1. T1 (Entorno): El entorno se formaliza como un Proceso de Decisión de Markov (MDP), priorizando la estructura del entorno sobre una teoría formal del agente.
2. T2 (Aprendizaje): El aprendizaje se define como la optimización de políticas (búsqueda) hacia una solución terminal, descuidando el concepto de adaptación como un proceso abierto.
3. T3 (Objetivo): El agente se define como un maximizador de una recompensa escalar, lo que los autores argumentan que no logra capturar la naturaleza multi-objetivo y dependiente del contexto de las metas biológicas.

Los autores sostienen que, si bien críticas recientes (p. ej., Abel et al., 2024) han identificado estos problemas, carecen de una alternativa concreta y con base biológica. El artículo busca reencuadrar estos dogmas utilizando la teoría evolutiva y la termodinámica para proporcionar un relato más fiel de la agencia adaptativa.

Metodología y Marco Teórico
El artículo emplea un reencuadre conceptual en lugar de experimentación empírica, apoyándose en tres dominios teóricos distintos:

• Algoritmos Evolutivos de Final Abierto: Utilizando conceptos como el nicho (niching), la coevolución y los criterios mínimos para modelar la adaptación no como una convergencia hacia un óptimo, sino como la generación de soluciones diversas e inconmensurables.
• Neurodinámica Darwiniana: Aprovechando teorías (p. ej., Szathmáry et al.) que sugieren que los mecanismos de selección evolutiva (replicación con variación, competencia y selección) pueden operar dentro de la vida de un solo organismo (p. ej., en la dinámica neural o el sistema inmunológico), cerrando la brecha entre la evolución transgeneracional y el aprendizaje dentro de la vida.
• Termodinámica y Autogénesis: Aplicando la termodinámica de no equilibrio y la teoría de la autogénesis (Deacon et al.) para fundamentar los precondiciones de la evolución. Esto implica analizar la "negentropía" (automantenimiento) y el "cristal aperiódico" (herencia) para explicar cómo surge una unidad autoperseverante sin asumir plantillas preexistentes o diseñadores externos.

Contribuciones Clave y Argumentos

1. Reencuadre de la Adaptación (T2): De la Búsqueda a la Novedad
Los autores argumentan que la adaptación no debe verse simplemente como lo opuesto a la búsqueda, sino como un tipo diferente de búsqueda: búsqueda de novedad de final abierto.

• Motores Duales: La adaptación biológica depende de dos motores complementarios: (a) la optimación impulsada por la aptitud (fitness) (resolver lo conocido desconocido) y (b) la generación de diversidad de final abierto (abordar lo desconocido desconocido).
• Mecanismos: El artículo operacionaliza el segundo motor a través de tres mecanismos:
  • Nicho (Niching): Creación de nuevos nichos ecológicos para evitar la competencia directa.
  • Coevolución: Agentes y entornos modificándose mutuamente.
  • Criterios Mínimos: Supervivencia basada en umbrales de viabilidad binaria en lugar de optimización basada en gradientes.
• Implicación: El formalismo estándar de MDP excluye la "incertidumbre de Knight" (lo desconocido desconocido). Una teoría completa de la adaptación requiere que el segundo motor genere nuevos objetivos y representaciones que el primer motor pueda entonces explotar.

2. Deconstrucción de la Hipótesis de la Recompensa (T3)
El artículo desafía la "Hipótesis de la Recompensa" (la suficiencia de la maximización de la recompensa escalar) demostrando su fracaso frente a los fundamentos axiomáticos establecidos por Bowling et al. (2023):

• Fallo de Completitud: Los procesos evolutivos generan soluciones inconmensurables (p. ej., diferentes especies en diferentes nichos) que no pueden ser clasificadas en un único orden de preferencia. La meta terminal de los agentes biológicos es la autoperseveración y la creación de nichos, no la maximación de un objetivo escalar fijo.
• Fallo de Independencia: Los agentes biológicos operan con múltiples metas instrumentales concurrentes (puntos de ajuste homeostáticos de temperatura, pH, osmolaridad, etc.). La urgencia relativa de estos impulsos es dependiente del contexto (p. ej., un depredador cambia la prioridad de la sed frente a la seguridad), violando el axioma de Independencia que requiere que las preferencias permanezcan estables independientemente de otras opciones.
• Origen de las Recompensas: El artículo rastrea la fuente de las funciones de recompensa hasta los puntos de ajuste homeostáticos, que son en sí mismos productos de la evolución. Esto vincula el problema de las metas (T3) con el problema de la agencia (T1).

3. Los Límites de la Evolución y el Fundamento Termodinámico (T1)
Los autores argumentan que apelar a la "evolución" como la fuente de la agencia es insuficiente porque crea un regresión explicativa: la evolución presupone una unidad autorreplicante y automantenida, pero no explica el origen de las precondiciones de esa unidad.

• Precondición Termodinámica: Los autores proponen que la cadena de aplazamiento (Recompensa $\to$ Homeostasis $\to$ Evolución) debe culminar en la termodinámica.
• Autogénesis: Introducen el concepto de autogénesis (un proceso de restricción recíproca entre dos procesos disipativos que se autoeliminan) como el mecanismo que genera una unidad autoperseverante y autorreplicante.
• Definición de Agencia: La verdadera agencia no se define por un diseñador externo o una plantilla preexistente, sino por un sistema que produce sus propias restricciones para mantenerse a sí mismo contra la segunda ley de la termodinámica. Esta unidad "autoproductora" es la base necesaria para la herencia y la dinámica evolutiva discutida en T2 y T3.

Resultos y Reivindicaciones
El artículo no presenta resultados experimentales, sino que ofrece una síntesis teórica con las siguientes afirmaciones:

• Resolución Conceptual: Proporciona un vocabulario para distinguir entre el aprendizaje "instruccional" (basado en gradientes) y el aprendizaje "seleccionista" (generación de candidatos preexistentes al problema), argumentando que los agentes biológicos requieren ambos.
• Refutación Axiomática: Demuestra que los axiomas requeridos para una función de recompensa escalar (Completitud e Independencia) son estructuralmente incompatibles con la naturaleza multi-objetivo y dependiente del contexto de la supervivencia biológica.
• Cambio Fundamental: Postula que una teoría formal del agente en RL no puede construirse únicamente sobre la teoría de la información o los algoritmos evolutivos; debe fundamentarse en la realidad termodinámica de un sistema disipativo y automantenido.
• Inversión de la Información: Sugiere una inversión del "Dogma Central" de la biología: en lugar de que una plantilla (ADN) dicte un sistema, debe existir primero un sistema automantenido (el intérprete) para dar significado a la plantilla.

Significancia
El artículo reclama su significancia al ofrecer un "relato más fiel biológicamente y formalmente fundamentado" de lo que significa ser un agente adaptativo.

• Para el RL: Sugiere que los futuros sistemas de IA que aspiren a una verdadera autonomía deben ir más allá de la optimización de la recompensa escalar e incorporar mecanismos para la búsqueda de novedad de final abierto y la homeostasis multi-objetivo.
• Para la Seguridad/Alineación de la IA: Al reencuadrar la agencia como una lucha termodinámica por la autoperseveración en lugar de un problema de optimización matemática, ofrece una nueva perspectiva sobre el "problema de la alineación", sugiriendo que las metas no son entradas estáticas, sino propiedades emergentes de la lucha de un sistema por mantener su organización.
• Para la IA de Final Abierto: Se alinea con las tendencias emergentes en la IA de frontera donde los principios evolutivos de final abierto se utilizan para el descubrimiento automatizado, argumentando que estos mecanismos no son solo herramientas de ingeniería, sino que reflejan la naturaleza fundamental de cómo evolucionan los sistemas complejos y adaptativos (incluyendo la ciencia misma).

Los autores concluyen que, si bien su cuenta termodinámica es un "requisito previo necesario" en lugar de una teoría completa de la agencia humana, proporciona la base esencial para cualquier teoría formal de la agencia que busque explicar cómo las metas y las recompensas surgen desde los primeros principios.