Resumo Técnico: LANTERN – Transferência Neurosimbólica Aumentada por LLM com Redes de Raciocínio Ativadas por Experiência

Declaração do Problema

A Aprendizagem por Reforço (RL) frequentemente luta contra a ineficiência de amostras, particularmente em tarefas que envolvem objetivos de longo horizonte e não markovianos, que exigem raciocínio temporal estruturado. Embora abordagens neurosimbólicas — que integram representações simbólicas como Autômatos Finitos Determinísticos (DFAs) na RL — tenham melhorado a eficiência de amostras, os métodos existentes de aprendizado por transferência enfrentam três limitações críticas:

1. Especificação Manual: A maioria dos métodos exige DFAs fornecidos por especialistas ou fórmulas de lógica temporal, que são difíceis de obter. Abordagens de inferência gramatical existem, mas exigem dados de trajetória estruturados inadequados para RL esparsa ou exploratória.
2. Dependência de Fonte Única: Os métodos de transferência atuais (por exemplo, destilação de autômato, destilação de política) geralmente dependem de uma única tarefa de origem. Isso limita a eficácia quando as tarefas de origem e alvo possuem objetivos heterogêneos ou estruturas apenas parcialmente alinhadas.
3. Mecanismos de Integração Fixos: As estruturas existentes utilizam esquemas de ponderação predeterminados (por exemplo, decaimento exponencial) ou hiperparâmetros estáticos, falhando em adaptar-se quando a relevância da origem varia entre estados ou ao longo do tempo.

O artigo aborda o desafio da transferência neurosimbólica multi-fonte em cenários onde múltiplas tarefas de origem possuem objetivos distintos e parcialmente relacionados. Em tais regimes, a reutilização direta de uma única política ou autômato de origem é insuficiente; em vez disso, o sistema exige alinhamento semântico e a agregação de conhecimento estruturado entre tarefas heterogêneas.

Metodologia: A Estrutura LANTERN

LANTERN (Transferência Neurosimbólica Aumentada por LLM com Redes de Raciocínio Ativadas por Experiência) é uma estrutura unificada projetada para superar as limitações acima através de cinco fases distintas:

1. Geração de Autômato Aprimorada por LLM

Em vez de especificação manual, o LANTERN utiliza Modelos de Linguagem de Grande Escala (LLMs) para gerar DFAs alvo ($D_{tgt}$) diretamente a partir de descrições de tarefas em linguagem natural ($T_{desc}$).

• Processo: Um prompt estruturado instrui o LLM a extrair subobjetivos, definir estados do autômato representando marcos, especificar transições determinísticas e gerar descrições semânticas em linguagem natural para cada estado.
• Saída: Um DFA alvo e um mapeamento de estados do autômato para descrições semânticas, que servem como base para o alinhamento entre tarefas.

2. Incorporação Semântica e Construção de Vizinhança

Para permitir a transferência entre tarefas com objetivos diferentes, o LANTERN constrói um espaço de incorporação semântica compartilhado.

• Incorporação: Descrições em linguagem natural de estados do autômato (de tarefas de origem e alvo) são mapeadas para um espaço vetorial $\phi(\omega) \in \mathbb{R}^d$ usando um modelo de incorporação de texto fixo (por exemplo, sentence-BERT).
• Semelhança e Vizinhanças: A semelhança semântica entre um estado alvo $\omega_{tgt}$ e estados de origem $\omega_{src}^k$ é calculada via similaridade de cosseno. Para cada estado alvo, uma "vizinhança semântica" ($N_M$) é formada selecionando os $M$ estados de origem mais similares entre todas as $K$ tarefas de origem.
• Ponderação: Os pesos de agregação são normalizados com base nas pontuações de similaridade, garantindo que estados semanticamente alinhados contribuam mais fortemente para a orientação.

3. Agregação de Conhecimento Multi-Fonte

O LANTERN agrega orientações da vizinhança semântica em duas dimensões:

• Orientação Estratégica (Nível de Autômato): Agrega valores Q destilados ($Q_{k,AD}$) representando a progressão de alto nível da tarefa a partir de tarefas de origem. O valor agregado $Q_{agg}^{AD}$ é uma soma ponderada dos valores estratégicos de origem.
• Orientação Tática (Nível de Política): Agrega políticas professoras ($\pi_{teacher}^k$) de estados de origem alinhados para fornecer orientação ao nível da ação.

4. Portão de Experiência de Dupla Volatilidade

Para equilibrar adaptativamente a aprendizagem do aluno com a orientação do professor, o LANTERN introduz um portão de confiança composto $\tau$ que combina duas medidas de volatilidade:

• Volatilidade de Experiência ($V^{exp}$): Rastreia a volatilidade do erro de Diferença Temporal (TD) da aprendizagem do aluno. Alta volatilidade indica instabilidade, favorecendo a orientação do professor.
• Volatilidade Semântica ($V^{sem}$): Mede o desalinhamento entre o estado alvo e seus estados de origem de melhor correspondência (com base na similaridade). Alta volatilidade semântica indica alinhamento pobre, reduzindo a confiança na origem.
• Mecanismo: O coeficiente de confiança final $\tau = \tau^{exp} \cdot \tau^{sem}$ é multiplicativo. A influência do professor é forte apenas quando a aprendizagem é instável e a origem está semanticamente alinhada. Isso previne a transferência negativa em regiões mal alinhadas.

5. Atualização Unificada de Aprendizagem

O aluno aprende no MDP produto ($M_{tgt} \times D_{tgt}$) usando uma regra de atualização Q modificada:
$$\Delta Q = \alpha [ \tau \cdot \delta_t + (1 - \tau) \cdot G_{multi} ]$$
onde $\delta_t$ é o erro TD padrão e $G_{multi}$ é a orientação agregada multi-fonte (combinando recompensas estratégicas e discrepâncias de políticas táticas). Quando $\tau \to 1$, a atualização depende da aprendizagem TD padrão; quando $\tau \to 0$, depende da orientação agregada do professor.

Contribuições Principais

1. Formulação de Transferência Neurosimbólica Multi-Fonte: O artigo formula um cenário onde tarefas de origem possuem objetivos heterogêneos, necessitando de agregação semântica em vez de reutilização direta de uma única origem.
2. Arquitetura LANTERN: O desenvolvimento de uma estrutura integrando geração de autômato baseada em LLM, agregação semântica multi-fonte e portão de dupla volatilidade adaptativo.
3. Validação Empírica: Demonstração de melhorias significativas na eficiência de amostras em diversos domínios (gestão de recursos e navegação) enquanto mantém robustez a origens mal alinhadas.

Resultados Experimentais

A estrutura foi avaliada em dois domínios: Dungeon Quest (navegação sequencial) e Blind Craftsman (gestão de recursos com restrições de inventário). As tarefas de origem incluíram missões com objetivos diferentes (por exemplo, resgate vs. caça ao tesouro; mineração vs. agricultura).

• Eficiência de Amostras: O LANTERN alcançou melhorias de 40–60% na eficiência de amostras em comparação com baselines, incluindo métodos de transferência de fonte única (Destilação de Autômato, CADENT, LARM) e uma baseline "Sem Transferência".
• Robustez: O sistema permaneceu robusto mesmo quando as tarefas de origem possuíam estruturas distintas e apenas sobreposição semântica parcial com o alvo.
• Estudos de Ablação:
  • Multi-fonte vs. Fonte Única: Agregar conhecimento parcial de múltiplas origens resultou em uma melhoria de 26% sobre o uso apenas da origem única mais similar.
  • Dupla Volatilidade vs. Apenas Experiência: Incorporar portão semântico preveniu transferência negativa em regiões desalinhadas, resultando em uma melhoria de 18%.
  • Estratégico + Tático vs. Apenas Estratégico: Combinar ambos os tipos de orientação forneceu uma melhoria de 31%, destacando a sinergia entre decomposição grosseira de tarefas e orientação fina de ações.

Significado e Alegações

O artigo alega que o LANTERN demonstra que a transferência neurosimbólica multi-fonte, ponderada adaptativamente pode melhorar significativamente a escalabilidade e a robustez em configurações de RL simbólica. Ao afastar-se da especificação manual e da dependência de fonte única, a estrutura permite que agentes aproveitem conhecimento complementar de tarefas heterogêneas.

Os autores enfatizam que o mecanismo de portão de dupla volatilidade é crucial para prevenir transferência negativa, permitindo que o sistema "degrade-se graciosamente" quando o alinhamento da origem é pobre. Os resultados sugerem que alinhar estados de autômato em um espaço de incorporação semântica compartilhado fornece um mecanismo eficaz para transferir conhecimento estruturado entre domínios com recursos, layouts e semânticas de tarefa diferentes.

Limitações notadas pelos autores:

• Dependência da qualidade do LLM para geração de DFA.
• Restrições de escalabilidade devido ao uso de aprendizagem Q tabular.
• Requisitos para alinhamento do espaço de ações.

Direções de trabalho futuro identificadas incluem refinamento de autômato com feedback, aproximação de função profunda para domínios contínuos, mapeamentos de ações aprendidos e transferência multi-fonte contínua.