Resumo Técnico: Política-como-Lógica para um Raciocínio Robusto sobre Regras

Definição do Problema

Em muitos domínios críticos — que variam desde tributação e taxas de bagagem de companhias aéreas até moderação de conteúdo e avaliação de risco médico — as decisões devem aderir a políticas escritas. Embora os Grandes Modelos de Linguagem (LLMs) se destaquem na compreensão do contexto de linguagem natural, sua aplicação à tomada de decisão baseada em políticas é prejudicada pela falta de robustez. A natureza estocástica dos modelos generativos significa que variações sutis na formulação da entrada (ex: mudanças tonais, reordenação de regras ou contexto de distração) podem levar a resultados inconsistentes ou incorretos. Além disso, os LLMs frequentemente têm dificuldade em raciocinar sobre entidades discretas e critérios objetivos, levando a uma automação pouco confiável em ambientes de alto risco. Os paradigmas existentes, como "política-como-prompt" (alimentar o texto da política diretamente no LLM) e "política-como-código" (traduzir políticas para código executável), muitas vezes falham em fornecer a interpretabilidade, auditabilidade e estabilidade necessárias para essas tarefas.

Metodologia: Política-como-Lógica (PaL)

Os autores propõem uma abordagem híbrida simbólica denominada Política-como-Lógica (PaL). Este método desacopla o processo de compreensão da linguagem natural do processo de raciocínio lógico, aproveitando os pontos fortes tanto dos LLMs quanto dos solvers simbólicos clássicos. O pipeline consiste em quatro estágios distintos:

1. Análise Semântica (Configuração Única):

   • Um documento de política é convertido em um Programa de Conjunto de Respostas (ASP - Answer Set Program), uma forma de lógica não monotônica que suporta o raciocínio sobre padrões.
   • Esta etapa gera um programa lógico (policy.lp) codificando fatos, condições, exceções e resultados, juntamente com um esquema (schema.json) e configurações de mapeamento. Esta tradução é realizada uma única vez por domínio de política.

2. Extração (Tempo de Inferência):

   • Dada uma consulta do usuário em linguagem natural, um LLM é instruído com o esquema pré-definido (não o texto completo da política) para extrair fatos relevantes.
   • O LLM produz dados estruturados no formato JSON, representando os fatos fundamentados da consulta específica (ex: {pass_class: economy, bag_weight: 20}).

3. Fundamentação (Grounding):

   • Os fatos JSON extraídos são traduzidos em átomos lógicos usando os mapeamentos gerados durante a fase de análise semântica.
   • Isso converte o ASP baseado em variáveis em um programa de lógica proposicional livre de variáveis (ASP fundamentado).

4. Solver e Interpretação:

   • Um solver de ASP (especificamente o Clingo) computa os modelos estáveis (conjuntos de respostas) do programa fundamentado.
   • Os átomos lógicos resultantes são mapeados deterministicamente de volta para decisões específicas do domínio (ex: "SIM" ou uma taxa calculada).
   • Se múltiplos resultados válidos existirem, diretivas de otimização dentro do ASP podem ser usadas para selecionar a decisão mais apropriada (ex: menor custo).

Principidades Contribuições

O artigo apresenta duas contribuições primárias:

1. Proposta de Política-como-Lógica: Os autores introduzem um framework para expressar políticas em lógica formal (ASP) e demonstram sua aplicabilidade em diversos domínios práticos. Ao separar a extração de fatos (LLM) do raciocínio (Solver), a abordagem visa criar pipelines que sejam interpretáveis, auditáveis e robustos.
2. Demonstração Empírica de Robustez: Através de perturbações sistemáticas de entrada, os autores mostram que métodos de raciocínio estruturado superam significativamente as abordagens de LLM de ponta a ponta na manutenção da consistência de decisão, particularmente para políticas baseadas em critérios objetivos.

Resultados Experimentais

Os autores avaliaram o PaL contra baselines de "política-como-prompt" (0-shot e 1-shot) e "política-como-código" em quatro domínios: Taxas de bagagem aérea, Imposto de renda, Transações da NBA e Moderação de conteúdo de RH.

• Precisão e Robustez:

  • Domínios Objetivos (Aéreo, Imposto, NBA): O PaL alcançou precisão significativamente maior (ex: 0,94–1,00 em Aéreo) comparado aos baselines (que frequentemente pontuaram abaixo de 0,40). Crucialmente, o PaL manteve alta robustez (consistência de decisão sob perturbação), enquanto a robustez dos baselines frequentemente caiu para 0,00 no domínio de Imposto. Essa robustez é atribuída à natureza determinística das etapas do solver; a única fonte de erro é a extração inicial.
  • Domínio Subjetivo (RH): No domínio de RH, que depende de critérios subjetivos baseados em crenças (ex: "intenção prejudicial"), o PaL não ofereceu vantagem sistemática sobre o baseline 0-shot. Ambos atingiram precisão alta semelhante (~0,93–0,96). Os autores observam que, para políticas subjetivas, a etapa de extração deve fazer o julgamento, limitando o valor agregado do solver lógico.

• Eficiência de Tokens:

  • O PaL demonstrou uma redução de aproximadamente 10x no uso de tokens em comparação com os métodos de política-como-prompt. Isso ocorre porque a abordagem de prompt-como-prompt exige o texto completo da política na janela de contexto para cada consulta, enquanto o PaL exige apenas o esquema leve e os fatos extraídos.

• Tamanho do Conjunto de Respostas:

  • O estudo descobriu que os conjuntos de respostas eram tipicamente pequenos (tamanho médio de 1,00 a 1,41), indicando que consultas bem especificadas geralmente mapeiam para resultados únicos ou muito limitados, validando a viabilidade da abordagem.

Significância e Alegações

O artigo postula que a separação entre extração e raciocínio é a chave para construir sistemas de decisão automatizados robustos. Os autores alegam que a Política-como-Lógica é particularmente eficaz para políticas baseadas em critérios objetivos e de conhecimento, onde a lacuna entre o raciocínio apenas de LLM e o raciocínio simbólico é mais ampla.

No entanto, os autores são modestos quanto às limitações:

• A abordagem é menos benéfica para políticas subjetivas, onde o desafio central reside na interpretação de intenção ou crença pelo modelo, e não no raciocínio lógico.
• O método depende da qualidade da extração inicial do LLM; se a extração falhar devido a perturbações de entrada, a robustez do solver não pode compensar.
• O trabalho sugere que, embora o PaL melhore a robustez, ele não elimina a necessidade de sistemas com humano no circuito (human-in-the-loop) quando o contexto do usuário é parcial ou carece de atributos essenciais.

Em última análise, o artigo argumenta pelo valor de integrar o raciocínio estruturado e solvers simbólicos com modelos generativos para criar sistemas de tomada de decisão que sejam não apenas precisos, mas também estáveis sob variações de entrada do mundo real.