Resumo Técnico: Aprendizado por Imitação Neurosimbólico com Orientação Humana: Uma Abordagem de Informação Privilegiada

Declaração do Problema

O Aprendizado por Imitação (IL) visa aprender uma política (um mapeamento de estados para ações) a partir de demonstrações de especialistas. Embora métodos puramente neurais (por exemplo, Clonagem Comportamental) lidem efetivamente com dados brutos de alta dimensão, como imagens, eles sofrem de ineficiência amostral, sobreajuste e falta de generalização para ambientes com números variados de objetos. Por outro lado, métodos puramente simbólicos oferecem interpretabilidade e forte generalização, mas lutam para processar entradas de alta dimensão diretamente e frequentemente exigem representações simbólicas pré-especificadas.

Além disso, os métodos existentes de IL frequentemente falham em utilizar Informação Privilegiada (PI) — dados auxiliares disponíveis durante o treinamento, mas indisponíveis durante a implantação. Embora dados de olhar (rastreamento ocular humano) sejam um candidato natural para PI em tarefas visuais, abordagens anteriores tipicamente aplicam orientação de olhar a políticas neurais, preservando sua natureza de "caixa preta", ou utilizam-na meramente para regularização sem alterar o processo de raciocínio simbólico subjacente.

O desafio central abordado por este artigo é: Como podemos desenvolver um framework de aprendizado por imitação que combine o processamento de alta dimensão de redes neurais com a generalização e interpretabilidade do raciocínio simbólico, enquanto aproveita efetivamente a informação privilegiada (especificamente o olhar humano) para orientar a aprendizagem de políticas robustas e generalizáveis?

Metodologia: O Framework GRAIL

Os autores propõem o GRAIL (Aprendizado por Imitação Relacional Orientado por Olhar), um framework neurosimbólico que integra três módulos acoplados para aprender regras de lógica probabilística interpretáveis a partir de imagens brutas e dados de olhar.

1. Fundamentação Neurosimbólica (Módulo de Percepção)

Em vez de assumir entradas simbólicas, o GRAIL aceita observações de pixels brutos ($o_t$). Uma rede de percepção neural ($f_\theta$) mapeia essas imagens brutas para um conjunto de átomos fundamentados probabilísticos ($v^{(0)}_t$).

• Mecanismo: A rede produz um vetor de probabilidades de verdade para um conjunto pré-definido de predicados de primeira ordem (por exemplo, inimigoVisivel, pertoDoJogador).
• Treinamento: Este módulo é treinado independentemente usando rótulos binários de verdade derivados de um oráculo de extração de objetos (OCAtari) via perda de Verossimilhança Negativa Logarítmica (NLL). Uma vez treinado, atua como um extrator de características fixo.

2. Modulação Privilegiada por Olhar

Esta é a inovação central que aproveita o paradigma de Aprendizado Usando Informação Privilegiada (LUPI).

• Previsão de Olhar: Uma rede separada ($g_\phi$) é treinada para prever um mapa de calor de olhar a partir do quadro bruto, minimizando a divergência de Kullback-Leibler contra dados de rastreamento ocular de verdade.
• Ressignificação de Átomos: Durante o treinamento da política, o mapa de calor de olhar é usado para calcular uma "massa de olhar" ($s_i$) para cada entidade referenciada nos átomos fundamentados.
• Modulação: As probabilidades iniciais dos átomos são reponderadas pelas pontuações de olhar: $v^{(g)}_{t,i} = v^{(0)}_{t,i} \cdot s_i$.
• Efeito: Este mecanismo suprime as probabilidades de átomos correspondentes a entidades de fundo ou irrelevantes para a tarefa que o especialista humano não olhou, filtrando efetivamente correlações espúrias antes da etapa de raciocínio lógico.

3. Raciocinador Diferenciável de Cadeia Direta (Aprendizado de Política)

O estado simbólico modulado por olhar ($v^{(g)}_t$) é alimentado em um Raciocinador Neurosimbólico de Cadeia Direta (NSFR).

• Lógica: O raciocinador realiza inferência diferenciável de cadeia direta sobre uma biblioteca pré-definida de cláusulas definidas de Lógica de Primeira Ordem (FOL) (regras).
• Diferenciabilidade: Operações lógicas (conjunção/disjunção) são aproximadas usando semântica de lógica difusa (norma T produto e co-norma T), permitindo que gradientes fluam através do grafo de inferência.
• Otimização de Política: O sistema aprende uma matriz de pesos ($W$) para as regras. O objetivo é Clonagem Comportamental: minimizar a verossimilhança negativa da ação do especialista dada a distribuição de ações inferida derivada das ativações das regras.

Contribuições Principais

1. Novo Framework Neurosimbólico: O desenvolvimento do GRAIL, que aprende regras de lógica probabilística interpretáveis para aprendizado por imitação diretamente a partir de dados visuais brutos.
2. Integração de Informação Privilegiada: A formulação específica do olhar humano como informação privilegiada para modular valorações de átomos simbólicos. Isso é distinto de trabalhos anteriores que aplicam olhar a camadas neurais; aqui, o olhar guia a etapa de fundamentação simbólica.
3. Síntese Interdisciplinar: O artigo combina conceitos de aprendizado neural, aprendizado simbólico (Programação Lógica Indutiva), aprendizado por imitação e aprendizado baseado em conselhos (LUPI) em um único sistema treinável de ponta a ponta.
4. Validação Empírica: Demonstração de que o framework é eficiente em amostras, aprende políticas robustas e generaliza para cenários de tempo de teste com um número desconhecido de objetos, superando tanto bases neurais puras quanto simbólicas puras.

Resultados Experimentais

O framework foi avaliado em dois ambientes Atari 2600 (Asterix e Seaquest) usando o conjunto de dados Atari-HEAD (que inclui dados de rastreamento ocular humano).

• Eficácia (Q1): O GRAIL alcançou as maiores pontuações médias de jogo em ambos os domínios, superando significativamente as bases puramente neurais (Clonagem Comportamental, AGIL, BC+Mask) e a base neurosimbólica sem modulação de olhar (NSFR-IL).
• Eficiência Amostral (Q2): O GRAIL convergiu para níveis de desempenho mais altos com significativamente menos amostras de treinamento. Notavelmente, o GRAIL treinado com apenas 10% dos dados superou a base NSFR-IL treinada no conjunto de dados completo. Os autores atribuem isso à modulação de olhar atuando como um regularizador, impedindo que o modelo se ajuste a correlações espúrias nos dados.
• Generalização (Q3): Quando testado em ambientes com um número maior de objetos do que visto durante o treinamento, o GRAIL manteve alto desempenho. As bases neurais falharam em generalizar além das contagens de objetos de seu treinamento, enquanto a natureza relacional da representação simbólica do GRAIL permitiu que ele lidasse naturalmente com contagens de objetos não vistas.

Significado e Alegações

O artigo afirma que o GRAIL representa o primeiro framework neurosimbólico de ponta a ponta capaz de integrar perfeitamente informações de olhar como informação privilegiada para aprender políticas eficazes, eficientes e generalizáveis.

• Robustez: Ao usar o olhar para filtrar átomos simbólicos, o sistema evita aprender políticas baseadas em características de fundo irrelevantes, abordando o problema de "mudança de covariância" comum no aprendizado por imitação.
• Interpretabilidade: Ao contrário de políticas neurais, a política resultante é um conjunto de regras lógicas ponderadas. Os pesos em si fornecem uma explicação do processo de tomada de decisão (por exemplo, quais regras são mais críticas para ações específicas).
• Modularidade: O framework é descrito como "plug-and-play", capaz de integrar aprendizes diferenciáveis, vários módulos de percepção e diferentes formas de informação privilegiada (não limitadas ao olhar).

Os autores concluem que combinar conceitos clássicos de IA (neural, simbólico, baseado em conselhos) produz um modelo que não é apenas performático, mas também transparente e capaz de generalizar para ambientes complexos e dinâmicos onde métodos simbólicos tradicionais lutam e métodos neurais puros carecem de robustez.