Resumen Técnico: REACOMP

Enunciado del Problema

Los Modelos de Lenguaje Grande (LLM) han demostrado capacidad en tareas de síntesis de programas, particularmente dentro del paradigma de Programación por Ejemplos (PBE). Sin embargo, sufren de ineficiencias significativas y falta de fiabilidad en instancias difíciles que requieren grandes búsquedas combinatorias. El análisis revela que las instancias más difíciles desencadenan un uso de tokens desproporcionadamente alto y múltiples intentos debido a fallos en la generalización composicional y estrategias de búsqueda ineficientes (por ejemplo, bucles, exploración redundante). Aunque los enfoques existentes intentan aumentar los LLM con bibliotecas o herramientas aprendidas, estos métodos a menudo dependen de razonamiento iterativo e invocación de herramientas en tiempo de inferencia, permaneciendo sensibles a los presupuestos de cómputo y fallando en reutilizar consistentemente estructuras aprendidas entre instancias. En consecuencia, los LLM continúan realizando búsquedas en gran medida no estructuradas sobre el espacio de soluciones, lo que lleva a un desperdicio de cómputo a medida que aumenta la longitud de la solución.

Metodología: REACOMP

Los autores proponen REACOMP, un marco que compila trazas de razonamiento de LLM en solucionadores simbólicos reutilizables en lugar de mejorar directamente el razonamiento en tiempo de inferencia. El enfoque consta de dos etapas distintas:

1. Inducción de Solucionador Offline

Este es un procedimiento único donde un agente de codificación destila estrategias recurrentes y modos de fallo de las trazas de razonamiento de un LLM en un sintetizador de programas simbólico independiente que opera sobre un Lenguaje Específico de Dominio (DSL) restringido.

• Conjunto de Datos de Trazas: Se construye un conjunto de datos de trazas de razonamiento a partir de un LLM (por ejemplo, gpt-oss-120b) resolviendo un pequeño subconjunto de tareas de referencia. Estas trazas incluyen pasos intermedios, programas candidatos y resultados, equilibrados en dificultad y éxito/fallo.
• Inducción del Agente de Codificación: Un agente de codificación (por ejemplo, Claude Code o Qwen + OpenHands) opera dentro de un entorno aislado que contiene el conjunto de datos de trazas y un verificador de solo lectura. El agente edita iterativamente un espacio de trabajo para construir una implementación de solucionador (por ejemplo, SOLVER.py).
• Proceso: El agente propone ediciones de código, las ejecuta y refina el solucionador según el rendimiento sobre el conjunto de datos de trazas. El agente observa únicamente los ejemplos de entrada-salida disponibles en tiempo de prueba, asegurando que el solucionador inducido sea un sistema independiente que no requiera llamadas a LLM durante la inferencia.
• Salida: Un solucionador Python independiente y un archivo de descripción del algoritmo.

2. Inferencia Híbrida Eficiente

En tiempo de prueba, el sistema emplea una estrategia de dos pasos para equilibrar eficiencia y precisión:

1. Paso Simbólico Inicial: El solucionador simbólico inducido ($S_\phi$) propone un conjunto de candidatos para una tarea dada $D$. Si un candidato logra una recompensa perfecta ($R=1$), se devuelve inmediatamente con costo cero de inferencia de LLM.
2. Respuesta de LLM: Si el solucionador simbólico no encuentra una solución perfecta, el sistema recurre a procedimientos estándar de búsqueda de LLM (muestreo Mejor-de-K o refinamiento iterativo de Retroalimentación Directa) para resolver los casos "difíciles" restantes.

Esta estructura amortiza el pequeño costo de construcción único del solucionador sobre muchas ejecuciones de cero tokens, reservando la inferencia costosa de LLM solo para casos residuales.

Contribuciones Clave

1. Método de Inducción: Un método novedoso para inducir solucionadores simbólicos reutilizables a partir de trazas de razonamiento de LLM utilizando agentes de codificación, transformando trazas de búsqueda no estructuradas en sintetizadores estructurados e independientes.
2. Rendimiento Independiente Fuerte: Evidencia de que los solucionadores inducidos funcionan como sistemas independientes potentes, superando la escalabilidad en tiempo de prueba de LLM en instancias difíciles (por ejemplo, PBEBench-Hard) con costo cero de inferencia de LLM por tarea.
3. Pipeline Híbrido Dominante en Pareto: Un pipeline neuro-simbólico híbrido que reduce significativamente el uso de tokens (hasta un 78%) mientras logra resultados de vanguardia, dominando efectivamente a los enfoques que aplican agentes de codificación directamente a cada tarea.
4. Generalización Zero-Shot: Demostración de que la mayoría de los solucionadores inducidos se generalizan zero-shot a distribuciones del mundo real, específicamente en un estudio de caso de lingüística histórica que involucra la reconstrucción hacia adelante de cambios fonéticos.

Resultados Experimentales

Los autores evaluaron REACOMP en PBEBench (transformación de cadenas) y SLR-Bench (programación lógica inductiva).

• PBEBench-Lite: Los conjuntos de solucionadores simbólicos alcanzaron una precisión del 91.3%, igualando o superando las líneas base de LLM. La inferencia híbrida (Simbólico + respuesta de LLM) redujo el uso de tokens en un 36% mientras mantenía la precisión máxima (93.9%).
• PBEBench-Hard: En la síntesis de cascada de largo horizonte, la escalabilidad en tiempo de prueba de LLM (Mejor-de-K) alcanzó una precisión del 68.4%. Los solucionadores simbólicos inducidos superaron significativamente esto, con el conjunto "Todo Simbólico" alcanzando una precisión del 84.7% (una ganancia de 16.3 puntos porcentuales) con costo cero de inferencia de LLM. La inferencia híbrida mejoró esto aún más al 85.8% mientras reducía el uso de tokens en un 78% en comparación con las líneas base solo de LLM.
• SLR-Bench: En el nivel más difícil, el solucionador simbólico CC alcanzó una precisión del 46.8%, igualando a los modelos de vanguardia (o3, GPT-5) con costo cero de inferencia. El enfoque híbrido (DF + CC) elevó la precisión del nivel difícil al 58.0%, superando todas las líneas base reportadas anteriormente. El mejor híbrido (DF + CC + QO) alcanzó una precisión general del 86.7% a una fracción del costo de los modelos de vanguardia.
• Eficiencia: Los solucionadores simbólicos son altamente eficientes, completando la inferencia para más de 1,000 tareas en menos de 5 minutos (Python puro), en comparación con ~2 días para métodos basados en LLM.
• Transferencia al Mundo Real: En una tarea de reconstrucción hacia adelante para lingüística histórica (predicción de cambios fonéticos), los solucionadores inducidos alcanzaron una precisión del 80.1% bajo ensamble, recuperando reglas lingüísticas plausibles sin reentrenamiento.

Significado y Afirmaciones

El artículo afirma que REACOMP demuestra una ruta escalable hacia la inducción de solucionadores de dominio general. Al compilar trazas de razonamiento en estructuras simbólicas reutilizables, el enfoque aborda la incompatibilidad fundamental entre el muestreo independiente de LLM y las tareas composicionales de largo horizonte. Los autores argumentan que:

• Eficiencia bajo Saturación: En regímenes donde la precisión de los LLM está cerca de la saturación, la inducción de solucionadores proporciona beneficios primarios en eficiencia más que en precisión.
• Complementariedad en Tareas Difíciles: En tareas difíciles de largo horizonte, los solucionadores simbólicos sobresalen donde los LLM fallan (debido a la búsqueda estructurada), mientras que los LLM cubren las tareas restantes, creando un sistema híbrido complementario.
• Amortización: El enfoque amortiza un pequeño costo de construcción único sobre muchas ejecuciones de cero tokens, haciéndolo sustancialmente más eficiente en Pareto que aplicar agentes de codificación por instancia.
• Generalización: La capacidad de los solucionadores para transferirse zero-shot a distribuciones no vistas (por ejemplo, datos lingüísticos reales) sugiere que los algoritmos inducidos capturan insights estructurales generalizables en lugar de mera memorización.

Los autores señalan limitaciones, incluida la sensibilidad de la calidad del solucionador a la capacidad del agente de codificación y la naturaleza específica de los DSL utilizados. También observan que, aunque los solucionadores recuperan reglas plausibles, a veces favorecen soluciones que satisfacen el verificador sobre estructuras compactas y generalizables, lo que indica la necesidad de trabajo futuro en la alineación de funciones de recompensa y estrategias de búsqueda para la inducción de solucionadores.