Exploring Plan Space through Conversation: An Agentic Framework for LLM-Mediated Explanations in Planning

Resumo Técnico: Explorando o Espaço de Planos através de Conversação

1. O Problema

A geração automática de planos para problemas de decisão sequencial do mundo real raramente visa substituir o planejador humano, mas sim facilitar um processo iterativo de raciocínio e elicitação de preferências. Neste contexto, os usuários precisam entender por que certos planos são ou não possíveis, especialmente quando há conflitos entre objetivos (ex: recursos insuficientes para satisfazer todas as metas).

Os desafios principais identificados são:

• Limitações dos Modelos de Linguagem (LLMs) em Planejamento: LLMs sozinhos não conseguem realizar tarefas complexas de planejamento de forma confiável devido à falta de raciocínio lógico rigoroso e dados de treinamento específicos.
• Falta de Interatividade nas Explicações: Sistemas existentes de explicação de IA (XAI) frequentemente fornecem respostas estáticas. No entanto, a eliciação de preferências é um processo conversacional onde o usuário precisa fazer perguntas de acompanhamento, esclarecer conceitos e refinar suas restrições.
• Barreira de Linguagem Formal: Usuários leigos não conseguem formular restrições ou perguntas em linguagens formais (como LTLf - Linear Temporal Logic on finite traces), necessárias para os algoritmos de planejamento.

2. Metodologia

O artigo propõe uma arquitetura de Sistema Multi-Agente que integra LLMs como intermediários (tradutores e classificadores) em um sistema de planejamento clássico, delegando a computação pesada a algoritmos especializados.

Arquitetura do Sistema:
O sistema é composto por agentes LLM que atuam em diferentes funções, comunicando-se com um "Framework de Explicação" (EFCC) e um Planejador:

1. Question Suggester (Sugeridor de Perguntas): Analisa o estado atual do planejamento (objetivos impostos, satisfeitos e insatisfeitos) e gera 1-3 perguntas relevantes para guiar o usuário, reduzindo a carga cognitiva.
2. Question Translator (Tradutor de Perguntas): Classifica a intenção do usuário (ex: "Por que não?", "Como fazer?", "O que acontece se...") e extrai os argumentos (objetivos específicos). Decide se a resposta pode ser direta ou se requer uma consulta ao framework de explicação.
3. Goal Translator (Tradutor de Objetivos): Converte descrições de objetivos em linguagem natural para fórmulas formais (LTLf) que o planejador entende, e vice-versa (para feedback ao usuário).
4. Explanation Translator (Tradutor de Explicações): Recebe explicações formais (baseadas em conjuntos de conflitos e correções) do framework e as transforma em respostas naturais, adaptando o nível de detalhe e o vocabulário ao contexto da conversa e ao usuário.
5. Dispatcher (Dispersor): Roteia a interação entre os agentes com base no tipo de pergunta identificada.

Framework de Explicação (EFCC):
Baseia-se em Subconjuntos Mínimos Não Solúveis (MUS) e Conjuntos Mínimos de Correção (MCS).

• MUS: Identifica o conjunto mínimo de objetivos que, juntos, tornam o plano impossível.
• MCS: Identifica o conjunto mínimo de objetivos que, se removidos, tornam o plano possível.
  O sistema suporta novos tipos de perguntas além das tradicionais "por que não", incluindo "como tornar solúvel", "o que acontece se eu impor X" e "como posso alcançar Y".

Fluxo de Interação:
O usuário faz uma pergunta em linguagem natural $\rightarrow$ O LLM traduz para o formal $\rightarrow$ O EFCC calcula os conflitos/correções $\rightarrow$ O LLM traduz a resposta formal de volta para linguagem natural, permitindo um diálogo fluido e iterativo.

3. Principais Contribuições

1. Formalização de um Framework Iterativo: Definição de um processo de planejamento iterativo onde o usuário refina preferências através de perguntas e respostas em linguagem natural, formalizado em etapas de iteração ($\delta$).
2. Expansão do Framework de Explicação (EFCC): Introdução de novos tipos de perguntas (US-why, US-how, S-what-if, S-can, S-how) que vão além da simples explicação de falhas, permitindo exploração ativa do espaço de soluções.
3. Implementação Agente-Led com LLMs: Criação de uma arquitetura onde LLMs atuam como tradutores e classificadores, permitindo que sistemas de planejamento tradicionais interajam naturalmente com humanos sem exigir que o LLM realize o planejamento em si.
4. Estudo de Usuário Comparativo: Validação empírica comparando a interface baseada em LLM com uma interface baseada em modelos (templates) pré-definidos.

4. Resultados do Estudo de Usuário

O estudo envolveu 131 participantes divididos em dois grupos:

• Grupo GTPL (Controle): Interface baseada em templates (lista fixa de perguntas e respostas em modelos).
• Grupo GLLM (Experimental): Interface baseada em LLM (perguntas livres, sugestões de perguntas e respostas geradas dinamicamente).

Métricas e Descobertas:

• Utilidade Alcançada: O grupo GLLM atingiu uma utilidade média ligeiramente superior (20.8 vs 20.5) e convergiu para planos melhores em menos passos de iteração, embora a diferença estatística não tenha sido significativa devido à variância.
• Eficiência na Pergunta: O grupo GLLM fez significativamente menos perguntas (média de 11.4) em comparação ao grupo GTPL (média de 22.8), mas cada pergunta do GLLM gerou consultas mais ricas ao sistema de explicação.
• Satisfação e Percepção: O grupo GLLM relatou significativamente maior satisfação com a interface, menor dificuldade percebida na tarefa e maior confiança em entender quais planos são possíveis.
• Adoção de Sugestões: 61.7% das perguntas feitas pelo grupo GLLM vieram das sugestões automáticas do Question Suggester, demonstrando a eficácia da ferramenta em guiar usuários leigos.
• Precisão do Tradutor: O Question Translator alcançou 91% de precisão na classificação do tipo de pergunta e dos argumentos.

5. Significado e Impacto

Este trabalho demonstra que LLMs podem atuar com sucesso como camadas de interação em sistemas de planejamento complexos, superando suas limitações de raciocínio lógico ao delegar a computação para algoritmos especializados.

• Humanização da IA: A abordagem transforma a interação com sistemas de planejamento de uma tarefa técnica e estática para um diálogo natural e colaborativo.
• Acessibilidade: Permite que usuários leigos (não especialistas em lógica formal) explorem espaços de solução complexos, entendam conflitos de recursos e tomem decisões informadas sobre quais objetivos sacrificar para maximizar o valor do plano.
• Direção Futura: O estudo sugere que a combinação de agentes LLM com frameworks formais de explicação é uma via promissora para sistemas de IA explicáveis (XAI) em domínios críticos, como logística e gestão de recursos, onde a confiança do usuário é fundamental.

Em resumo, o artigo valida que uma arquitetura agênica mediada por LLMs não apenas melhora a experiência do usuário, mas também potencialmente acelera a convergência para soluções de planejamento aceitáveis, reduzindo a carga cognitiva e facilitando a eliciação de preferências complexas.