Distilling Answer Set Programming Theories from Large Language Models

Resumo Técnico: Destilação de Teorias de Programação de Conjuntos de Respostas a partir de Grandes Modelos de Linguagem

Definição do Problema
Escrever teorias de Programação de Conjuntos de Respostas (ASP) do zero é uma tarefa laboriosa que exige centenas de regras para cobrir os operadores de tarefas de raciocínio não triviais. As teorias escritas à mão são frequentemente específicas para um domínio e não se transferem entre conjuntos de dados com esquemas distintos. Este artigo investiga se um Grande Modelo de Linguagem (LLM), atuando como um agente autônomo com um solver em um ciclo de feedback (solver in the loop), pode destilar uma teoria ASP completa e correta do zero. O objetivo é determinar se um LLM pode redigir iterativamente uma teoria recebendo apenas um arquivo vazio, um prompt fixo e acesso a exemplos de treinamento, sem o uso de modelos fornecidos por humanos ou padrões de regras parciais.

Metodologia
Os autores propõem um protocolo de destilação agnóstico ao conjunto de dados, instanciado no domínio de Visual Question Answering (VQA). O sistema opera dentro de uma estrutura "neurosimbólica" onde o LLM atua como o autor do módulo de raciocínio, enquanto um solver ASP padrão (clingo) fornece o mecanismo de execução.

• O Harness do Agente: O LLM é incorporado em um ambiente isolado (sandboxed) via Docker usando a CLI do agente OpenCode. O modelo tem acesso a ferramentas de manipulação de arquivos (read, edit, write, glob, grep) e uma interface bash restrita para executar uv run solve (para executar o solver ASP nos dados de treinamento) e uv run lint (para verificar a sintaxe).
• O Protocolo:
  1. Inicialização: O agente começa com um arquivo de teoria vazio e um prompt de sistema minimalista instruindo-o a produzir uma teoria que derive ans(A) para os exemplos de treinamento.
  2. Iteração: O agente lê alguns exemplos de treinamento, escreve uma teoria inicial sintaticamente válida e a testa contra o solver.
  3. Ciclo de Feedback: Com base na saída do solver (ou na ausência dela), o agente identifica modos de falha, edita a teoria e itera.
  4. Terminação: O loop continua até que o agente declare sua conclusão por conta própria ou até que um limite de tempo de 1 hora seja atingido.
  5. Avaliação: A teoria final é pontuada em um conjunto de validação não utilizado (held-out). A unidade de trabalho é a teoria inteira, redigida ao longo de muitos ciclos de edição.
• Configuração Experimental: O estudo avalia nove modelos em três benchmarks de VQA:
  • CLEVR: Cenas 3D sintéticas focadas em raciocínio composicional.
  • GQA: Imagens do mundo real com um vocabulário amplo de objetos e relações.
  • CLEVRER: Vídeos curtos que exigem raciocínio temporal, causal e contrafactual.
  • Camadas de Modelos: Quatro modelos de fronteira (Claude Sonnet 4.6, Claude Opus 4.7, GPT-5, DeepSeek V4 Pro), dois modelos de nível médio e três modelos menores de pesos abertos (open-weights).
  • Ablação de Referência: Experimentos variam a inclusão de teorias de referência escritas à mão de outros conjuntos de dados (0, 1 ou 2 referências) para testar a transferibilidade.

Principais Contribuições

1. Um Protocolo de Destilação Unificado: Os autores estabelecem um harness de agente, um prompt de sistema e um conjunto de ferramentas que são idênticos em todos os conjuntos de dados e modelos. Isso isola a capacidade do modelo como a variável primária, removendo a engenharia de prompt como um fator de confusão.
2. Demonstração de Destilação de Teoria: O estudo fornece evidência empírica de que agentes podem destilar teorias ASP completas do zero. Três dos quatro modelos de fronteira alcançaram desempenho igual ou superior às teorias de referência escritas à mão em benchmarks específicos.
3. Taxonomia de Modos de Falha: O artigo categoriza as falhas observadas em erros de análise (parse errors), falhas de fundamentação (grounding failures), "sem resposta" (a teoria permanece silenciosa) e erros semânticos. Também analisa como a escala do modelo e as teorias de referência interagem com esses modos de falha.

Resultos

• Desempenho dos Modelos de Fronteira:
  • CLEVR: Três modelos de fronteira (Sonnet, Opus, DeepSeek V4 Pro) atingiram 100% de precisão. O GPT-5 atingiu 98,7%.
  • GQA: Sonnet, Opus e DeepSeek V4 Pro pontuaram entre 92,8% e 98,8%, excedendo o teto da referência escrita à mão (77,5%). O GPT-5 caiu significativamente para 41,8%, principalmente devido a falhas de "sem resposta" (a teoria falhou em derivar uma resposta para a maioria dos exemplos).
  • CLEVRER: Os três modelos de fronteira bem-sucedidos pontuaram entre 92,7% e 95,3%. O GPT-5 pontuou 86,7%.
• Impacto das Teorias de Referência:
  • Para Sonnet, Opus e DeepSeek V4 Pro, adicionar teorias de referência de outros conjuntos de dados teve um efeito negligenciável (dentro de ±3,4 pontos percentuais).
  • Para o GPT-5, adicionar referências causou uma regressão consistente na precisão (quedas de 3 a 19 pontos percentuais). Os autores observam que o GPT-5 escreve teorias significativamente mais curtas quando recebe referências, sugerindo que a referência consome o orçamento de contexto necessário para a autoria.
• Escala do Modelo e Desempenho de Sub-fronteira:
  • Modelos abaixo do limiar de 27B de parâmetros (ex: qwen3.5-9b, gpt-oss-20b) falharam amplamente em produzir teorias analisáveis ou estagnaram antes da autoria.
  • O DeepSeek V4 Flash (nível médio) teve bom desempenho em CLEVR e GQA, mas degradou em CLEVRER, especialmente com referências.
  • Modelos menores exibiram alta variância e modos de falha específicos, como chamadas de ferramenta malformadas ou incapacidade de gerar sintaxe clingo válida.
• Características da Teoria: Modelos de fronteira bem-sucedidos produziram teorias de comprimentos variados (ex: GPT-5 escreveu 65 regras para GQA vs. 343 para Opus), embora ambos tenham alcançado alta precisão, indicando que a contagem de regras é uma função do estilo de autoria, não da cobertura.

Significância e Alegações
O artigo afirma que agentes neurosimbólicos podem destilar com sucesso teorias ASP completas e corretas do zero, desafiando a noção de que tais teorias devem ser criadas manualmente. O estudo destaca que, embora os modelos de fronteira possam alcançar resultados de estado da arte em tarefas de VQA composicionais e do mundo real, o desempenho não é uniforme entre todos os modelos de alto nível; a falha específica do GPT-5 em GQA sugere que loops de agentes podem ser "líquidos negativos" para certos modelos em tarefas específicas.

Os autores concluem modestamente que, embora o protocolo funcione para modelos de alta capacidade, o "limiar de capacidade" não é puramente uma função da escala de parâmetros, mas envolve competências específicas em uso de ferramentas e geração de sintaxe. Eles observam que as teorias destiladas são atualmente estáticas e propõem trabalhos futuros para integrá-las em loops de treinamento (ex: NS-CL) e para gerar automaticamente os analisadores de perguntas (question parsers), em vez de depender de anotações de programas funcionais existentes. O trabalho não pretende resolver o VQA de ponta a ponta, mas sim demonstrar a viabilidade de automatizar o componente de raciocínio simbólico de pipelines neurosimbólicos.