Resumen Técnico: ADVENT – Invención Automática de Predicados Impulsada por LLM para ILP

1. Planteamiento del Problema

La Programación Lógica Inductiva (ILP) es un paradigma de aprendizaje automático capaz de aprender reglas relacionales interpretables por humanos. Sin embargo, su rendimiento está fuertemente limitado por la calidad del Conocimiento de Fondo (BK) predefinido. Sin predicados adecuados, los sistemas de ILP no pueden descubrir reglas que expliquen conceptos objetivo de manera efectiva. La Invención de Predicados (PI) aborda esto introduciendo predicados auxiliares para extender el espacio de hipótesis.

Los enfoques de PI existentes enfrentan dos limitaciones fundamentales:

1. Explosión del Espacio de Búsqueda: Sin guía humana, la PI degenera en una enumeración sintáctica exhaustiva, lo que dificulta el descubrimiento automático de patrones útiles.
2. Falta de Semántica: Los métodos tradicionales operan mediante la manipulación de símbolos sintácticos, produciendo predicados sin nombre (p. ej., inv1, inv2) que carecen de comprensión conceptual. Esto dificulta la evaluación de la relevancia para nuevas tareas y evita la reutilización efectiva del conocimiento entre tareas o el aprendizaje continuo.

Si bien los Modelos de Lenguaje de Gran Escala (LLM) ofrecen potencial para reconocer patrones implícitos y generar definiciones de predicados significativas, confiar únicamente en el razonamiento de los LLM introduce problemas de fiabilidad, incluyendo violaciones sintácticas y sobreajuste a ejemplos específicos.

2. Metodología: ADVENT

Los autores proponen ADVENT, un marco neuro-simbólico que integra el razonamiento abductivo de LLM con la verificación deductiva de Prolog dentro de un flujo de trabajo de ILP. El sistema opera mediante un ciclo de razonamiento triádico (Abducción, Deducción, Inducción) a través de cuatro etapas:

A. Verificación de Representación (RC)

Antes de intentar la invención, una heurística ligera determina si el BK actual es suficiente.

• Mecanismo: El sistema toma una muestra del 10% de los ejemplos y utiliza el 1% como "semillas" para una búsqueda restringida a nivel de variables.
• Lógica: Si el aprendiz de ILP solo puede producir cláusulas unitarias de tierra (que cubren solo la semilla) sin encontrar generalizaciones a nivel de variables, el sistema activa el bucle de invención. Si la RC pasa, el sistema omite la invención y procede a la inducción de reglas.

B. Bucle LLM-PI (Invención Iterativa)

Cuando la RC falla, comienza un bucle iterativo:

1. Generación Abductiva (LLM): El LLM recibe el esquema del BK, una muestra de ejemplos positivos/negativos y un Pool de Conocimiento (una lista de predicados previamente inventados con nombres y definiciones). Se le solicita identificar patrones implícitos y proponer candidatos de predicados con definiciones de Prolog, aridades y modos de uso.
2. Verificación Deductiva (Prolog): Los predicados propuestos se someten a dos capas de validación:
   • Verificación Sintáctica/Estructural: Prolog intenta consultar la definición para detectar errores de tiempo de ejecución o predicados no definidos.
   • Verificación de Comportamiento: El predicado se ejecuta sobre un subconjunto de ejemplos. Los resultados se particionan por clase (positivos vs. negativos) y se presentan de forma contrastiva al LLM.
3. Refinamiento: Basándose en los resultados concretos de la ejecución (p. ej., falsos positivos/negativos), el LLM refina la definición del predicado. Este bucle continúa hasta alcanzar un límite máximo de iteraciones o hasta encontrar un predicado válido.

C. Inducción de Reglas ILP

Una vez que la RC confirma que existen patrones generalizables (ya sea inicialmente o tras la invención), el aprendiz de ILP (Aleph) realiza la inducción de reglas.

• Los predicados auxiliares inventados se inyectan en el BK.
• El sistema de ILP realiza una búsqueda de nivel constante, anclando variables a valores específicos para capturar distinciones a nivel de instancia, complementando las invenciones de alto nivel del LLM.

D. Pool de Conocimiento y Reutilización entre Tareas

Los predicados inventados exitosos y las reglas aprendidas se acumulan en un Pool de Conocimiento. Para tareas subsecuentes, este pool sirve como referencia, permitiendo al LLM evaluar la relevancia y componer nuevos predicados a partir de invenciones previas, apoyando el aprendizaje acumulativo.

3. Contribuciones Clave

1. Marco ADVENT: Un mecanismo novedoso que empareja la generación abductiva de LLM con la verificación deductiva de Prolog para automatizar la invención de predicados en ILP.
2. Integración de Verificación Formal: La integración de un verificador basado en Prolog que proporciona resultados deductivos concretos para guiar el refinamiento del LLM, abordando la brecha de fiabilidad en la lógica generada por LLM.
3. Reutilización de Conocimiento Interpretable entre Tareas: Demostración de que los LLM pueden interpretar las definiciones de los predicados inventados para evaluar la relevancia, permitiendo la reutilización selectiva y la composición de conocimiento entre tareas manteniendo la interpretabilidad humana.

4. Resultados Experimentales

El marco fue evaluado en nueve conceptos de manos de póker (mapeados al problema de Michalski Train para oscurecer el conocimiento del dominio) utilizando siete LLM diferentes.

• Línea Base de ILP: La ILP por sí sola falló totalmente (0/9) en un entorno relacional independiente de la posición y logró solo 6/9 en un entorno dependiente de la posición.
• PI Impulsada por LLM (Sin Verificación): Alcanzó una tasa de éxito promedio del 58% entre los modelos, demostrando que los LLM pueden identificar patrones implícitos (p. ej., desigualdad de variables, secuencias aritméticas) inaccesibles para la búsqueda basada en sintaxis.
• Verificación Formal (ADVENT): Elevó la tasa de éxito promedio al 80%. Los intervalos de confianza no se solaparon con la condición de no verificación, confirmando que la verificación de Prolog guía eficazmente el refinamiento.
• Comparación con Autocrítica: La verificación formal superó a la autocrítica del LLM en 5 de los 7 modelos. La autocrítica fue menos fiable, llevando en ocasiones al sobreajuste de características superficiales.
• Impacto del Pool de Conocimiento: El uso del pool de conocimiento aumentó las tasas de éxito hasta en un +31 de puntos porcentuales para conceptos composicionales (p. ej., Escalera de Color, Escalera Real). Sin embargo, para tareas más simples (p. ej., Color), el pool introdujo una complejidad innecesaria, resultando en una ligera caída en el rendimiento, lo que indica un compromiso entre la reutilización y la interferencia.

5. Significado y Reivindicaciones

El artículo afirma que ADVENT ofrece una dirección prometedora para automatizar la invención de predicados y permitir la reutilización de conocimiento entre tareas en ILP.

• Cerrando la Brecha: Logra cerrar la brecha entre el rigor simbólico de la ILP y la comprensión semántica de los LLM, permitiendo al sistema inventar predicados con nombres significativos (p. ej., tiene_duplicado_rango) en lugar de símbolos opacos.
• Fiabilidad: El estudio valida que el anclaje de las salidas de los LLM en la ejecución deductiva formal es superior a la autoevaluación para refinar programas lógicos.
• Limitaciones: Los autores reconocen modestamente las limitaciones actuales, incluyendo la dependencia de la ventana de contexto del LLM para gestionar el pool de conocimiento (lo que puede diluir la atención a medida que el pool crece) y que la evaluación se limitó a un dominio transformado de manos de póker. Se propone como trabajo futuro el desarrollo de mecanismos de recuperación selectiva y la prueba en conjuntos de datos más amplios del mundo real.