Resumen Técnico: No Desperdicies tus Despliegues: Reciclaje de la Experiencia de Búsqueda para una Escalabilidad Eficiente en Tiempo de Prueba

Enunciado del Problema

Las estrategias actuales de Escalabilidad en Tiempo de Prueba (TTS), que mejoran el razonamiento de los Modelos de Lenguaje Grande (LLM) asignando capacidad de inferencia adicional, adolecen de una ineficiencia fundamental: el desperdicio de información. Los paradigmas existentes, ya sea el muestreo paralelo, el refinamiento secuencial o la búsqueda basada en árboles, suelen tratar los despliegues individuales (trayectorias de razonamiento) como muestras desechables. Una vez completado o descartado un ensayo, los valiosos conocimientos intermedios, las proposiciones verificadas y los patrones de fallo identificados contenidos en esa trayectoria se pierden efectivamente.

Este enfoque "sin memoria" conduce a una redundancia computacional sustancial. Los modelos vuelven a derivar conclusiones que ya han sido descubiertas en otros despliegues y revisan callejones sin salida conocidos, sin aprovechar el conocimiento acumulativo generado durante el proceso de búsqueda. El artículo argumenta que maximizar el potencial de la capacidad de cómputo en tiempo de prueba requiere no solo aumentar el volumen de despliegues, sino optimizar la calidad de la exploración transformando los ensayos desechables en un proceso acumulativo guiado por la experiencia.

Metodología: Reciclaje de la Experiencia de Búsqueda (RSE)

Para abordar esta ineficiencia, los autores proponen el Reciclaje de la Experiencia de Búsqueda (RSE), una estrategia de inferencia auto-guiada y libre de entrenamiento. RSE reencuadra la búsqueda en tiempo de prueba como una serie de ensayos aislados hacia un proceso acumulativo donde los conocimientos valiosos de trayectorias anteriores se destilan y reutilizan para guiar la exploración subsiguiente.

La metodología opera a través de tres componentes coordinados:

1. Búsqueda Guiada por Experiencia por Lotes:
   En lugar de una sincronización en tiempo real (que es inestable) o un refinamiento puramente secuencial (limitado por las ventanas de contexto), RSE divide el presupuesto de despliegues en $R$ rondas. En cada ronda $r$, el modelo genera un lote de $K_r$ trayectorias en paralelo. Antes de cada ronda, un Banco de Experiencia global se serializa en el prompt, asegurando que todos los despliegues del lote comiencen desde un estado sincronizado que contiene el conocimiento acumulado de rondas anteriores.

2. Destilación de Experiencia Auto-Guiada:
   En lugar de concatenar cadenas de razonamiento crudas y verbosas (lo que arriesga el desbordamiento de contexto y el ruido), RSE emplea un paso de prompting ligero para destilar cada trayectoria completada en elementos estructurados y discretos. Este proceso aprovecha la capacidad intrínseca de autoevaluación del modelo sin supervisión externa:

   • Experiencia Positiva ($E^{pos}$): Extrae proposiciones verificadas, lemas o conclusiones intermedias que sirven como "anclas de verdad" para acortar derivaciones redundantes.
   • Experiencia Negativa ($E^{neg}$): Identifica peligros críticos, callejones sin salida estratégicos o falacias lógicas para actuar como "restricciones negativas" que podan el espacio de búsqueda.

3. Deduplicación Semántica de Experiencias:
   Para evitar la explosión del contexto y mantener una alta densidad de información, RSE emplea una estrategia de deduplicación semántica. Las nuevas experiencias destiladas se comparan con el banco existente utilizando un umbral de similitud ($\tau$). Solo se añaden elementos semánticamente distintos, filtrando conocimientos repetitivos y asegurando que el banco permanezca como un conjunto diverso de orientación accionable en lugar de una lista redundante.

Contribuciones Clave

El artículo describe tres contribuciones principales:

• Marco RSE: La propuesta de una estrategia libre de entrenamiento que convierte la búsqueda en tiempo de prueba en un proceso acumulativo guiado por la experiencia mediante el reciclaje de la experiencia a nivel de despliegue.
• Análisis Teórico: Un análisis formal que demuestra que RSE ofrece una ventaja de eficiencia de muestreo sobre el muestreo independiente. Los autores demuestran que, bajo una extracción de experiencia sólida, la probabilidad de encontrar una solución correcta con RSE no es peor que el muestreo independiente, con el potencial de ganancias exponenciales en tareas complejas que requieren múltiples conclusiones intermedias. También proporcionan un resultado de degradación acotada para escenarios que involucran una extracción de experiencia imperfecta.
• Validación Empírica: Experimentos extensos en diversos puntos de referencia y familias de modelos que muestran ganancias de rendimiento consistentes sobre líneas base sólidas.

Resultados Experimentales

Los autores evaluaron RSE en puntos de referencia desafiantes de razonamiento matemático (HMMT24, HMMT25, IMO-Bench, HLE-Math-text) y extendieron la evaluación a codificación (LiveCodeBench-v6), preguntas y respuestas a nivel experto (GPQA-Diamond) y planificación de largo alcance (TravelPlanner).

• Superioridad de Rendimiento: RSE superó consistentemente a las líneas base, incluido el Muestreo Estándar, la Votación Mayoritaria, el Auto-Refinamiento y el método concurrente PaCoRe, en todos los modelos probados (Qwen3-30B, Qwen3-4B, Phi-4, DeepSeek-V3.2). Por ejemplo, en HMMT25 con el modelo Qwen3-30B, RSE logró un 83.9% de Pass@1 en la Iteración 3, superando a PaCoRe (80.2%) y al Auto-Refinamiento (72.6%).
• Dinámicas de Escalado: A diferencia de las líneas base que muestran una saturación temprana (por ejemplo, PaCoRe alcanzando un techo en la Iteración 3 debido a un "cuello de botella centrado en la verificación"), RSE demostró una convergencia retrasada y ganancias continuas de rendimiento en iteraciones posteriores, indicando un techo empírico más alto.
• Eficiencia Computacional: RSE estableció una frontera de Pareto superior en términos de costo computacional (FLOPs) frente a la precisión. Logró mayores ganancias de precisión por unidad de cómputo en comparación con la agregación simple o la concatenación basada en verificación.
• Generalizabilidad: El método demostró ser efectivo más allá de las matemáticas. Notablemente, en la tarea TravelPlanner, PaCoRe colapsó a una tasa de éxito del 0.00% debido a la sobrecarga de contexto, mientras que RSE logró una tasa de éxito del 34.44%, demostrando su capacidad para manejar tareas de planificación abiertas donde la votación por consenso es inaplicable.

Significado y Afirmaciones

El artículo afirma que RSE representa un cambio de paradigma en la escalabilidad en tiempo de prueba. Al tratar los despliegues no como muestras desechables, sino como una fuente de experiencia reutilizable, RSE aborda la ineficiencia sistémica de la búsqueda actual "sin memoria".

• Eficiencia: Los autores argumentan que el principal cuello de botella en el TTS actual no es la falta de capacidad de cómputo, sino la falta de mecanismos sistemáticos para acumular y reutilizar la experiencia a nivel de despliegue. RSE cierra esta brecha, permitiendo a los modelos concentrar la capacidad de cómputo en regiones prometedoras y no exploradas del espacio de soluciones, en lugar de volver a derivar hechos conocidos o revisar callejones sin salida.
• Naturaleza Auto-Guiada: Un significado clave es que RSE no requiere modelos de recompensa externos, etiquetas de verdad fundamental ni cambios arquitectónicos. Confía únicamente en la capacidad del modelo para criticar y destilar su propio razonamiento, lo que lo hace aplicable a entornos de búsqueda generales.
• Fundamento Teórico: El trabajo proporciona una base teórica para la intuición de que "guardar puntos de control" de conclusiones intermedias válidas permite que los despliegues posteriores se construyan sobre éxitos parciales fragmentados, reduciendo significativamente la decadencia de probabilidad asociada con cadenas de razonamiento complejas.

En conclusión, el artículo postula que maximizar el potencial de la capacidad de cómputo en tiempo de prueba requiere optimizar la calidad de la exploración mediante el reciclaje de la experiencia, transformando ensayos aislados en un proceso de búsqueda acumulativo e inteligente.