Resumen Técnico: Un Marco Cognitivo para Agentes Autónomos

Planteamiento del Problema

Los sistemas autónomos, particularmente los sistemas multiagente utilizados para la detección y exploración, enfrentan desafíos significativos para completar tareas de manera eficiente dentro de entornos complejos, parcialmente observables e inciertos. Mientras que las soluciones de ingeniería tradicionales dependen fuertemente del aprendizaje instrumental (aprender acciones basadas en las consecuencias para maximizar recompensas), a menudo pasan por alto el aprendizaje pavloviano (asociar estímulos ambientales con resultados antes de que ocurra el resultado). En la cognición humana, estos dos sistemas coexisten e interactúan; las asociaciones pavlovianas permiten que los organismos utilicen señales predictivas para sesgar el comportamiento de forma reflexiva, acelerando la adaptación. Los diseños actuales de agentes autónomos descuidan en gran medida este mecanismo de sistema dual, lo que conduce a una convergencia más lenta y una exploración menos eficiente en entornos desconocidos, especialmente cuando se depende únicamente de el Aprendizaje por Refuerzo (RL) libre de modelo o basado en modelos estándar.

Metodología

Los autores proponen una arquitectura de RL inspirada en el ser humano que integra procesos pavlovianos e instrumentales, aprovechando específicamente los estímulos de Radiofrecuencia (RF) como claves condicionadas. El marco se estructura en torno a los siguientes componentes:

1. Arquitectura de Sistema Dual:

   • Subsistema Libre de Modelo Pavloviano-Instrumental (P-I): Imita la amígdala y el estriado ventral. Aprende asociaciones entre las claves ambientales (por ejemplo, señales de RF que indican "puertas" o zonas "sin GPS") y los resultados. Esto genera sesgos reflexivos rápidos (aproximación o evitación) que modulan la selección de acciones antes de que se realice el resultado.
   • Subsistema Libre de Modelo Instrumental: Utiliza Q-learning o SARSA estándar para aprender funciones de valor de acción basadas en la experiencia de ensayo y error, similar al comportamiento habitual en los humanos.
   • Subsistema Basado en Modelos Instrumental: Emplea un enfoque Dyna-Q para aprender un modelo interno de la dinámica del entorno (probabilidades de transición y recompensas). Esto permite la planificación hacia adelante y la simulación para optimizar objetivos a largo plazo.

2. Mecanismo de Arbitraje:

   • Un meta-controlador pondera dinámicamente las contribuciones de los sistemas libres de modelo y basados en modelos.
   • La fiabilidad se cuantifica mediante Errores de Predicción: Errores de Predicción de Recompensa (RPE) para el aprendizaje libre de modelo y Errores de Predicción de Estado (SPE) para el aprendizaje basado en modelos.
   • El sistema desplaza el control hacia el planificador basado en modelos cuando el modelo interno es preciso y hacia el sistema robusto libre de modelo cuando la incertidumbre es alta.

3. Diseño de la Política:

   • La selección de acciones utiliza una política softmax que combina los valores de acción instrumentales con un término de sesgo pavloviano.
   • El término pavloviano es dependiente del estado y de la acción, creando un "campo de potencial de riesgo-recompensa" que guía a los agentes hacia áreas informativas (por ejemplo, corredores con Línea de Visión - LOS) y lejos de zonas peligrosas (por ejemplo, áreas sin GPS) sin requerir la maximización explícita de la recompensa para cada paso.

4. Configuración Experimental:

   • Escenario: Un equipo de cuatro agentes autónomos (UAVs) navega por una cuadrícula de $24 \times 36$ para localizar un objetivo con un Límite de Error de Posición (PEB) específico.
   • Entorno: Incluye obstáculos, áreas sin GPS (claves negativas) y "puertas" (claves positivas) que proporcionan Línea de Visión (LOS) hacia el objetivo.
   • Detección: Los agentes utilizan la Fuerza de la Señal Recibida (RSS) para la localización y dependen de las claves de RF para identificar características del entorno.
   • Entrenamiento: Los agentes fueron entrenados durante 2,400 episodios mediante Q-learning fuera de la política (off-policy) y un crítico pavloviano, con tasas de aprendizaje y parámetros de temperatura que decaen con el tiempo.

Principales Contribuciones

• Integración de la Transferencia Pavloviana-Instrumental (PIT): El artículo traduce el concepto neurocientífico de PIT a un marco de agente digital, demostrando cómo las claves de RF pueden actuar como estímulos condicionados para sesgar la toma de decisiones instrumental.
• Marco de Aprendizaje Híbrido: Propone una arquitectura novedosa que unifica el aprendizaje libre de modelo (habitual), basado en modelos (planificación) y pavloviano (reflexivo), regulado por un mecanismo de arbitraje basado en errores de predicción.
• RF como Claves Cognitivas: El trabajo identifica y utiliza específicamente las características de radiofrecuencia (LOS vs. NLOS, disponibilidad de GPS) como claves predictivas, yendo más allá de las claves puramente visuales que pueden ser poco fiables en condiciones de baja visibilidad.
• Mapeo de la Cognición Humana-Digital: Los autores proporcionan un "diccionario" detallado (Tabla II) y una comparación funcional (Tabla III) que mapea los sistemas neurales humanos (por ejemplo, amígdala, corteza prefrontal) a los módulos de los agentes digitales, estableciendo una base sólida para el diseño inspirado en humanos.

Resultados

Los resultados de la simulación, promediados sobre 60 ejecuciones de Monte Carlo, demuestran la eficacia del marco propuesto:

• Convergencia Acelerada: El agente Instrumental-Pavloviano con Base en Modelos logró políticas competentes significativamente más rápido que los agentes que utilizan únicamente el aprendizaje instrumental. El enfoque impulsado por claves redujo el número de pasos requeridos por episodio para completar la misión.
• Reducción de la Varianza: El enfoque híbrido exhibió una menor varianza en el rendimiento entre los ensayos en comparación con la línea base puramente instrumental, lo que indica un aprendizaje más estable.
• Trayectorias Optimizadas:
  • Los agentes puramente instrumentales dependían del ensayo y error sin información, siguiendo a menudo rutas más largas e ineficientes y entrando ocasionalmente en zonas sin GPS.
  • Los agentes influenciados por el modelo pavloviano desarrollaron trayectorias directas que mantenían márgenes de seguridad alrededor de las zonas sin GPS y explotaban eficazmente los corredores de LOS.
• Evolución de la Función de Valor: Las funciones de valor pavloviano evolucionaron de distribuciones aleatorias a distintos "campos de potencial de riesgo-recompensa" hacia el episodio 400, con máximos locales alrededor de las puertas y mínimos en las regiones sin GPS, podando eficazmente el espacio de búsqueda para el aprendiz instrumental.

Significado y Reivindicaciones

El artículo afirma que la integración de los principios de aprendizaje humano, específicamente la interacción entre los sistemas pavloviano e instrumental, puede redefinir la inteligencia de los agentes digitales. La importancia principal radica en demostrar que:

1. El aprendizaje impulsado por claves acelera eficazmente la exploración en entornos complejos y parcialmente observables al proporcionar señales motivacionales inmediatas.
2. Un enfoque híbrido (fusionando procesos basados en modelos y libres de modelo con el sesgo pavloviano) supera a los agentes tradicionales de solo instrumental tanto en velocidad de adaptación como en la calidad de la política final.
3. Las claves de radiofrecuencia sirven como un mecanismo viable y robusto para la señalización predictiva en la navegación autónoma, ofreciendo ventajas sobre las claves visuales en condiciones específicas.

Los autores posicionan este trabajo como un paso hacia sistemas autónomos más biológicamente plausibles y eficientes, sugiriendo que la investigación futura podría extender estos principios al aprendizaje colectivo, estrategias de arbitraje avanzadas y la extracción de claves a partir de mapas de radio semánticos.