Resumo Técnico: Um Framework Cognitivo para Agentes Autônomos

Declaração do Problema

Sistemas autônomos, particularmente sistemas multiagentes usados para sensoriamento e exploração, enfrentam desafios significativos para completar tarefas de forma eficiente em ambientes complexos, parcialmente observáveis e incertos. Enquanto soluções de engenharia tradicionais dependem fortemente do aprendizado instrumental (aprender ações baseadas em consequências para maximizar recompensas), elas frequentemente negligenciam o aprendizado pavloviano (associar pistas ambientais a resultados antes que o resultado ocorra). Na cognição humana, esses dois sistemas coexistem e interagem; associações pavlovianas permitem que organismos usem pistas preditivas para enviesar o comportamento reflexivamente, acelerando a adaptação. Os designs atuais de agentes autônomos negligenciam amplamente esse mecanismo de sistema duplo, levando a uma convergência mais lenta e uma exploração menos eficiente em ambientes desconhecidos, especialmente quando dependem exclusivamente de Aprendizado por Reforço (RL) livre de modelo ou baseado em modelo padrão.

Metodologia

Os autores propõem uma arquitetura de RL inspirada no ser humano que integra processos pavlovianos e instrumentais, utilizando especificamente estímulos de Radiofrequência (RF) como pistas condicionadas. O framework é estruturado em torno dos seguintes componentes:

1. Arquitetura de Sistema Duplo:

   • Subsistema Livre de Modelo Pavloviano-Instrumental (P-I): Mimica a amígdala e o estriado ventral. Ele aprende associações entre pistas ambientais (ex: sinais de RF indicando "portões" ou zonas "sem GPS") e resultados. Isso gera vieses reflexivos rápidos (aproximação ou esquiva) que modulam a seleção de ações antes que o resultado seja realizado.
   • Subsistema Livre de Modelo Instrumental: Utiliza Q-learning ou SARSA padrão para aprender funções de valor de ação baseadas na experiência de tentativa e erro, semelhante ao comportamento habitual em humanos.
   • Subsistema Baseado em Modelo Instrumental: Emprega uma abordagem Dyna-Q para aprender um modelo interno das dinâmicas do ambiente (probabilidades de transição e recompensas). Isso permite o planejamento prospectivo e a simulação para otimizar objetivos de longo prazo.

2. Mecanismo de Arbitragem:

   • Um meta-controlador pondera dinamicamente as contribuições dos sistemas livre de modelo e baseado em modelo.
   • A confiabilidade é quantificada usando Erros de Predição: Erros de Predição de Recompensa (RPE) para o aprendizado livre de modelo e Erros de Predição de Estado (SPE) para o aprendizado baseado em modelo.
   • O sistema desloca o controle para o planejador baseado em modelo quando o modelo interno é preciso e para o sistema livre de modelo robusto quando a incerteza é alta.

3. Design de Política:

   • A seleção de ações utiliza uma política softmax que combina os valores de ação instrumentais com um termo de viés pavloviano.
   • O termo pavloviano é dependente do estado e da ação, criando um "campo de potencial de risco-recompensa" que guia os agentes para áreas informativas (ex: corredores de Linha de Visada - LOS) e para longe de zonas perigosas (ex: áreas sem GPS) sem exigir a maximização explícita da recompensa para cada passo.

4. Configuração Experimental:

   • Cenário: Uma equipe de quatro agentes autônomos (UAVs) navega em uma grade de $24 \times 36$ para localizar um alvo com um Limite de Erro de Posição (PEB) específico.
   • Ambiente: Inclui obstáculos, áreas sem GPS (pistas negativas) e "portões" (pistas positivas) que fornecem Linha de Visada (LOS) para o alvo.
   • Sensoriamento: Os agentes usam a Força do Sinal Recebido (RSS) para localização e dependem de pistas de RF para identificar características ambientais.
   • Treinamento: Os agentes foram treinados ao longo de 2.400 episódios usando Q-learning off-policy e um crítico pavloviano, com taxas de aprendizado e parâmetros de temperatura decaindo ao longo do tempo.

Principais Contribuições

• Integração da Transferência Pavloviana-Instrumental (PIT): O artigo traduz o conceito neurocientífico de PIT para um framework de agente digital, demonstrando como as pistas de RF podem atuar como estímulos condicionados para enviesar a tomada de decisão instrumental.
• Framework de Aprendizado Híbrido: Propõe uma arquitetura inovadora que unifica o aprendizado livre de modelo (habitual), baseado em modelo (planejamento) e pavloviano (reflexivo), regulado por um mecanismo de arbitragem baseado em erros de predição.
• RF como Pistas Cognitivas: O trabalho identifica e utiliza especificamente as características de radiofrequência (LOS vs. NLOS, disponibilidade de GPS) como pistas preditivas, indo além das pistas puramente visuais que podem ser pouco confiáveis em baixa visibilidade.
• Mapeamento da Cognição Humano-Digital: Os autores fornecem um "dicionário" detalhado (Tabela II) e uma comparação funcional (Tabela III) mapeando sistemas neurais humanos (ex: amígdala, córtex pré-frontal) para módulos de agentes digitais, estabelecendo uma base principiológica para o design inspirado no ser humano.

Resultados

Os resultados de simulação, calculados pela média de 60 execuções de Monte Carlo, demonstram a eficácia do framework proposto:

• Convergência Acelerada: O agente Instrumental-Pavloviano com Base em Modelo alcançou políticas competentes significativamente mais rápido do que agentes usando apenas aprendizado instrumental. A abordagem baseada em pistas reduziu o número de passos necessários por episódio para completar a missão.
• Redução de Variância: A abordagem híbrida exibiu menor variância de desempenho entre os testes em comparação com a linha de base puramente instrumental, indicando um aprendizado mais estável.
• Trajetórias Otimizadas:
  • Agentes puramente instrumentais dependeram de tentativa e erro não informadas, frequentemente seguindo caminhos mais longos e ineficientes e ocasionalmente entrando em zonas sem GPS.
  • Agentes influenciados pelo Pavloviano desenvolveram trajetórias diretas que mantiveram margens de segurança ao redor de áreas sem GPS e exploraram efetivamente corredores de LOS.
• Evolução da Função de Valor: As funções de valor pavloviano evoluíram de distribuições aleatórias para distintos "campos de potencial de risco-recompensa" até o episódio 400, com máximos locais em torno de portões e mínimos em regiões sem GPS, podando efetivamente o espaço de busca para o aprendiz instrumental.

Significância e Alegações

O artigo afirma que integrar princípios de aprendizado humano, especificamente a interação entre sistemas pavlovianos e instrumentais, pode remodelar a inteligência de agentes digitais. A principal significância reside em demonstrar que:

1. O aprendizado orientado por pistas acelera efetivamente a exploração em ambientes complexos e parcialmente observáveis ao fornecer sinais motivacionais imediatos.
2. Uma abordagem híbrida (fundindo processos baseados em modelo e livres de modelo com viés pavloviano) supera agentes tradicionais focados apenas no instrumental tanto na velocidade de adaptação quanto na qualidade da política final.
3. Pistas de radiofrequência servem como um mecanismo viável e robusto de sinalização preditiva para navegação autônoma, oferecendo vantagens sobre pistas visuais em condições específicas.

Os autores posicionam este trabalho como um passo em direção a sistemas autônomos mais biologicamente plausíveis e eficientes, sugerindo que pesquisas futuras podem estender esses princípios para o aprendizado coletivo, estratégias de arbitragem avançadas e a extração de pistas de mapas de rádio semânticos.