MINT: Minimal Information Neuro-Symbolic Tree for Objective-Driven Knowledge-Gap Reasoning and Active Elicitation

Resumo Técnico: MINT para Raciocínio de Lacunas de Conhecimento Orientado a Objetivos

Declaração do Problema
No trabalho em equipe humano-IA em mundo aberto, o planejamento conjunto é frequentemente prejudicado por informações incompletas e incertezas, como objetos não vistos, intenções humanas ambíguas ou restrições ambientais incertas. Essas "lacunas de conhecimento" criam incertezas nas transições de estado e nas funções de recompensa, levando a execuções conservadoras e planos subótimos. Embora métodos existentes como Aprendizado por Reforço com Feedback Humano (RLHF) ou adaptação com poucos exemplos possam processar entradas humanas, eles frequentemente carecem da capacidade de raciocinar expressivamente sobre essas lacunas ou de elicitar ativamente as informações específicas necessárias para preenchê-las. Por outro lado, as abordagens tradicionais de Humano no Loop (HITL) frequentemente focam no ajuste fino por meio de demonstrações, em vez de abordar a causa raiz das lacunas de conhecimento por meio de elicitação ativa orientada a objetivos.

Metodologia: Árvore Neuro-Simbólica de Informação Mínima (MINT)
Os autores propõem o MINT, um framework que combina raciocínio simbólico, políticas de planejamento neural e Modelos de Linguagem de Grande Escala (LLMs) para otimizar a elicitação de entradas humanas. A metodologia opera em duas fases principais: treinamento e implantação.

1. Treinamento de Política Neural (Estimativa de Incerteza):
   O sistema emprega uma Rede Q Profunda bootstrap (especificamente UA-DQN) para estimar não apenas os valores Q ótimos, mas também a incerteza aleatória (variância) dos resultados do planejamento causada por lacunas de conhecimento. Durante o treinamento, o agente é exposto a uma família de Processos de Decisão de Markov (MDPs) estendidos, onde a lacuna de conhecimento $u$ mascara partes do descritor da verdade fundamental $\phi$. A rede aprende a estimar a média e a variância dos valores Q sobre a distribuição de descritores possíveis $\Phi_u$.

2. Construção e Expansão da Árvore Simbólica:
   Quando uma lacuna de conhecimento é detectada (por exemplo, alta variância nos valores Q), o MINT constrói uma árvore simbólica.

   • Nós: Representam estados do problema de planejamento com lacunas de conhecimento específicas, caracterizados por descritores (tipo, subtipo, intervalos de valores).
   • Arestas: Representam proposições (consultas) propostas para estreitar a lacuna.
   • Expansão: A árvore expande-se de forma em largura. Para cada nó, a política neural estima o retorno médio e a variância. Se a variância for alta em relação à lacuna de retorno entre as ações, o nó é expandido dividindo o espaço de lacunas de conhecimento (por exemplo, dividindo intervalos de valores ou hipotetizando diferentes tipos de incerteza). Este processo continua até que a variância seja suficientemente baixa ou um limite de profundidade seja atingido.

3. Curadoria Baseada em LLM e Elicitação Ativa:
   Uma vez construída a árvore, um LLM processa a estrutura para otimizar a estratégia de interação:

   • Poda: O LLM mescla subárvores ou folhas equivalentes que levam a ações ótimas idênticas para eliminar redundância.
   • Geração de Consultas: O LLM sintetiza perguntas binárias (sim/não) projetadas para maximizar o ganho de informação em relação aos candidatos a ações ótimas.
   • Interação: O agente formula essas perguntas ao humano. A resposta humana atualiza a lacuna de conhecimento, podando ramos inconsistentes da árvore. Este processo iterativo continua até que a ação ótima seja identificada com alta confiança.

Análise Teórica
O artigo fornece uma garantia teórica para o desempenho do MINT. Ao definir uma pseudo-métrica entre MDPs com diferentes kernels de transição e funções de recompensa, os autores provam uma continuidade pseudo-Lipschitz local das funções Q ótimas. Eles derivam um limite superior para a lacuna de retorno entre o planejamento baseado em MINT (com elicitação ativa) e um caso ideal sem lacunas de conhecimento. Esta análise demonstra que estreitar iterativamente a lacuna de conhecimento por meio da estratégia de consultas do MINT reduz a lacuna de retorno, fornecendo uma garantia de desempenho.

Principais Contribuições

1. Framework MINT: A proposta de uma árvore neuro-simbólica que consulta uma política de planejamento neural para raciocinar sobre os impactos das lacunas de conhecimento e aproveita o auto-jogo para otimizar estratégias de elicitação humana.
2. Garantias Teóricas: A prova da continuidade pseudo-Lipschitz local para retornos de planejamento e a derivação de um limite superior para a lacuna de retorno, oferecendo uma base teórica sólida para a elicitação ativa humana.
3. Validação Empírica: Demonstração de que o MINT alcança retornos próximos aos de especialistas com significativamente menos consultas (1–3 por objeto) em comparação com linhas de base em ambientes diversos.

Resultados Experimentais
Os autores avaliaram o MINT em três benchmarks com realismo crescente:

• MiniGrid: O MINT alcançou taxas de sucesso quase perfeitas e recompensas médias altas, superando significativamente LLMs puros (que frequentemente eram excessivamente conservadores) e métodos de RL puros (que lutavam com incerteza). O MINT manteve alto desempenho mesmo com um orçamento de consultas limitado.
• Atari Pacman: Em um ambiente com observações de pixels brutos e zonas de recompensa/transição desconhecidas, o MINT alcançou retornos competitivos em comparação com linhas de base de RL com Humano no Loop (Query-A), mas exigiu significativamente menos consultas.
• Isaac Gym (Busca e Resgate): Em um cenário de resgate de drone de alta fidelidade envolvendo objetos obscurecidos por fumaça e alvos ocultos, o MINT superou estratégias de planejamento baseadas em LLM, navegando com sucesso na incerteza ao raciocinar sobre lacunas de conhecimento específicas.

Significado e Alegações
O artigo alega ser o primeiro trabalho a combinar raciocínio simbólico de lacunas de conhecimento, políticas de planejamento neural e LLMs para permitir a elicitação humana ativa e otimizada no planejamento baseado em linguagem. Os autores afirmam que o MINT preenche efetivamente a lacuna entre a interpretabilidade dos métodos simbólicos e a adaptabilidade das redes neurais. Ao estreitar sistematicamente as lacunas de conhecimento por meio de consultas direcionadas, o MINT permite que agentes de IA funcionem como companheiros proativos, em vez de ferramentas passivas, alcançando desempenho próximo ao de especialistas enquanto minimizam o ônus de comunicação sobre parceiros humanos. O trabalho sugere que essa abordagem é particularmente vital para cenários de mundo aberto onde informações perfeitas não estão disponíveis e o planejamento conservador leva a resultados não ótimos.