Resumo Técnico: ADVENT – Invenção Automática de Predicados Impulsionada por LLM para ILP

1. Definição do Problema

A Programação Lógica Indutiva (ILP) é um paradigma de aprendizado de máquina capaz de aprender regras relacionais interpretáveis por humanos. No entanto, seu desempenho é fortemente limitado pela qualidade do Conhecimento de Fundo (BK) predefinido. Sem predicados adequados, os sistemas de ILP não conseguem descobrir regras que expliquem conceitos-alvo de forma eficaz. A Invenção de Predicados (PI) aborda isso introduzindo predicados auxiliares para estender o espaço de hipóteses.

As abordagens de PI existentes enfrentam duas limitações fundamentais:

1. Explosão do Espaço de Busca: Sem orientação humana, a PI degenera em uma enumeração sintática exaustiva, tornando difícil a descoberta automática de padrões úteis.
2. Falta de Semântica: Os métodos tradicionais operam via manipulação de símbolos sintáticos, produzindo predicados sem nome (ex: inv1, inv2) que carecem de compreensão conceitual. Isso dificulta a avaliação de relevância para novas tarefas e impede o reuso eficaz de conhecimento entre tarefas ou o aprendizado contínuo (lifelong learning).

Embora os Modelos de Linguagem de Grande Escala (LLMs) ofereçam potencial para reconhecer padrões implícitos e gerar definições de predicados significativas, confiar apenas no raciocínio de LLMs introduz problemas de confiabilidade, incluindo violações sintáticas e sobreajuste (overfitting) a exemplos específicos.

2. Metodologia: ADVENT

Os autores propõem o ADVENT, um framework neuro-simbólico que integra o raciocínio abdutivo de LLM com a verificação dedutiva de Prolog dentro de um pipeline de ILP. O sistema opera em um ciclo de raciocínio triádico (Abdução, Dedução, Indução) através de quatro estágios:

A. Verificação de Representação (RC)

Antes de tentar a invenção, uma heurística leve determina se o BK atual é suficiente.

• Mecanismo: O sistema amostra 10% dos exemplos e utiliza 1% como "sementes" para uma busca restrita ao nível de variáveis.
• Lógica: Se o aprendiz de ILP conseguir produzir apenas cláusulas unitárias de base (cobrindo apenas a semente) sem encontrar generalizações de nível de variável, o sistema aciona o loop de invenção. Se o RC passar, o sistema pula a invenção e procede para a indução de regras.

B. Loop LLM-PI (Invenção Iterativa)

Quando o RC falha, um loop iterativo começa:

1. Geração Abdutiva (LLM): O LLM recebe o esquema do BK, uma amostra de exemplos positivos/negativos e um Pool de Conhecimento (uma lista de predicados previamente inventados com nomes e definições). Ele é instruído a identificar padrões implícitos e propor candidatos a predicados com definições Prolog, aridades e modos de uso.
2. Verificação Dedutiva (Prolog): Os predicados propostos passam por duas camadas de validação:
   • Verificação Sintática/Estrutural: O Prolog tenta consultar a definição para capturar erros de tempo de execução ou predicados indefinidos.
   • Verificação Comportamental: O predicado é executado em um subconjunto de exemplos. Os resultados são particionados por classe (positivo vs. negativo) e apresentados de forma contrastiva ao LLM.
3. Refinamento: Com base nos resultados concretos de execução (ex: falsos positivos/negativos), o LLM refina a definição do predicado. Este loop continua até que um limite máximo de iterações seja atingido ou um predicado válido seja encontrado.

C. Indução de Regras ILP

Uma vez que o RC confirma que padrões generalizáveis existem (seja inicialmente ou pós-invenção), o aprendiz de ILP (Aleph) realiza a indução de regras.

• Os predicados auxiliares inventados são injetados no BK.
• O sistema ILP realiza uma busca de nível constante, realizando o grounding de variáveis para valores específicos para capturar distinções ao nível da instância, complementando as invenções de alto nível do LLM.

D. Pool de Conhecimento e Reuso entre Tarefas

Predicados inventados bem-sucedidos e regras aprendidas acumulam-se em um Pool de Conhecimento. Para tarefas subsequentes, este pool serve como referência, permitindo que o LLM avalie a relevância e componha novos predicados a partir de invenções anteriores, suportando o aprendizado cumulativo.

3. Principais Contribuições

1. Framework ADVENT: Um mecanismo inovador que combina a geração abdutiva de LLM com a verificação dedutiva de Prolog para automatizar a invenção de predicados em ILP.
2. Integração de Verificação Formal: A integração de um verificador baseado em Prolog que fornece resultados dedutivos concretos para guiar o refinamento do LLM, abordando a lacuna de confiabilidade na geração de lógica por LLMs.
3. Reuso de Conhecimento Interpretável entre Tarefas: Demonstração de que LLMs podem interpretar definições de predicados inventados para avaliar a relevância, permitindo o reuso seletivo e a composição de conhecimento entre tarefas, mantendo a interpretabilidade humana.

4. Resultados Experimentais

O framework foi avaliado em nove conceitos de mãos de poker (mapeados para o problema Michalski Train para obscurecer o conhecimento do domínio) usando sete LLMs diferentes.

• Baseline de ILP: A ILP sozinha falhou totalmente (0/9) em um cenário relacional livre de posição e alcançou apenas 6/9 em um cenário dependente de posição.
• PI Impulsionada por LLM (Sem Verificação): Alcançou uma taxa de sucesso média de 58% entre os modelos, demonstrando que LLMs podem identificar padrões implícitos (ex: desigualdade de variáveis, sequências aritméticas) inacessíveis à busca baseada em sintaxe.
• Verificação Formal (ADVENT): Elevou a taxa de sucesso média para 80%. Os intervalos de confiança não se sobrepuseram à condição sem verificação, confirmando que a verificação por Prolog guia efetivamente o refinamento.
• Comparação com Autocrítica: A verificação formal superou a autocrítica do LLM em 5 de 7 modelos. A autocrítica foi menos confiável, levando por vezes ao sobreajuste em características superficiais.
• Impacto do Pool de Conhecimento: O uso do pool de conhecimento aumentou as taxas de sucesso em até +31 pontos percentuais para conceitos composicionais (ex: Straight Flush, Royal Flush). No entanto, para tarefas mais simples (ex: Flush), o pool introduziu complexidade desnecessária, resultando em uma ligeira queda de desempenho, indicando um compromisso (trade-off) entre reuso e interferência.

5. Significância e Alegações

O artigo afirma que o ADVENT oferece uma direção promissora para automatizar a invenção de predicados e permitir o reuso de conhecimento entre tarefas em ILP.

• Preenchendo a Lacuna: Ele consegue preencher a lacuna entre o rigor simbólico da ILP e a compreensão semântica dos LLMs, permitindo que o sistema invente predicados com nomes significativos (ex: tem_duplicata_de_ranking) em vez de símbolos opacos.
• Confiabilidade: O estudo valida que fundamentar as saídas do LLM em execução dedutiva formal é superior à autoavaliação para refinar programas lógicos.
• Limitações: Os autores reconhecem modestamente as limitações atuais, incluindo a dependência da janela de contexto do LLM para gerenciar o pool de conhecimento (o que pode diluir a atenção conforme o pool cresce) e o fato de a avaliação ser limitada a um domínio transformado de mãos de poker. Trabalhos futuros são propostos para desenvolver mecanismos de recuperação seletiva e testar em conjuntos de dados do mundo real mais amplos.