💻 computer science

Adaptive Test-Time Compute Allocation with Evolving In-Context Demonstrations

Este trabajo presenta un marco de asignación de cómputo en tiempo de prueba que adapta dinámicamente tanto la distribución de recursos como la generación mediante demostraciones en contexto evolutivas, logrando un rendimiento superior en tareas de razonamiento, matemáticas y programación con un menor consumo de cómputo inferencial en comparación con métodos existentes.

Autores originales: Bowen Zuo, Dongruo Zhou, Yinglun Zhu

Publicado 2026-04-24

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Bowen Zuo, Dongruo Zhou, Yinglun Zhu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un equipo de detectives (la Inteligencia Artificial) y una pila enorme de casos sin resolver (preguntas de matemáticas, código o lógica). Tu objetivo es que resuelvan la mayor cantidad posible de casos, pero tienes un presupuesto limitado de "tiempo y energía" (computación).

La forma tradicional de hacer esto es como un jefe de policía estricto: le dice a todos los detectives, "¡Traten de resolver 10 casos cada uno, sin importar si son fáciles o imposibles!".

Si el caso es fácil, el detective lo resuelve en 5 minutos y sigue gastando tiempo en los otros 9 intentos innecesarios.
Si el caso es muy difícil, el detective se queda atascado, pierde horas intentando cosas que no funcionan, y al final no lo resuelve.

El problema: Se gasta mucha energía en casos fáciles (desperdicio) y no se logra resolver los difíciles (fracaso).

La solución de este papel: "El Detective que Aprende de sus Éxitos"

Los autores proponen un nuevo sistema llamado Asignación Adaptativa de Computación con Demostraciones Evolutivas. Suena complicado, pero es como tener un jefe de policía muy inteligente y flexible.

Aquí te explico cómo funciona con una analogía sencilla:

1. La Fase de "Calentamiento" (El Escaneo Rápido)

Al principio, el jefe le da a todos los detectives una oportunidad rápida y pequeña para resolver sus casos.

Lo que pasa: Los casos fáciles se resuelven al instante.
La magia: En lugar de tirar esos casos resueltos a la basura, el jefe los guarda en una "Caja de Éxitos". Ahora tiene un archivo de casos que ya sabemos cómo resolver.

2. La Fase "Adaptativa" (El Cambio de Estrategia)

Aquí es donde ocurre la magia. El jefe mira los casos que aún no están resueltos (los difíciles).

El viejo método: Decía: "¡Inténtalo de nuevo! ¡Hazlo 10 veces más!" (pero siempre pensando de la misma manera).
El nuevo método: Dice: "Espera, este caso difícil se parece mucho a uno que ya resolvimos ayer en la 'Caja de Éxitos'. ¡Vamos a darle al detective una pista basada en ese éxito anterior!".

En lugar de dejar que el detective adivine a ciegas, el sistema le muestra ejemplos de casos similares que ya funcionaron. Es como si un detective novato le dijera a otro: "Oye, para este tipo de crimen, el asesino siempre deja la huella en la ventana, no en la puerta. Mira cómo lo resolvimos el martes".

3. El Ciclo de Mejora (El Efecto Dominó)

A medida que el sistema resuelve más casos difíciles usando estas pistas:

La "Caja de Éxitos" crece.
Hay más ejemplos para enseñar a los detectives sobre los casos restantes.
Los detectives se vuelven más inteligentes y eficientes con cada ronda.
Se gasta menos energía porque no se repiten errores y se resuelven los casos difíciles más rápido.

¿Por qué es mejor que lo que hacían antes?

Antes (Método Estático): Era como intentar abrir una cerradura difícil golpeándola 100 veces con el mismo martillo. A veces funciona, pero a menudo solo gastas fuerza y rompes el martillo.
Ahora (Método de este papel): Es como usar un juego de llaves maestras. Primero pruebas la llave más obvia. Si no abre, miras qué llave abrió una puerta similar antes, y usas esa información para probar la siguiente. Si una llave abre la puerta, guardas esa llave para usarla en las siguientes cerraduras similares.

En resumen

Este papel presenta un sistema donde la Inteligencia Artificial no solo trabaja más duro, sino que trabaja más inteligente.

Identifica rápidamente lo fácil para no perder tiempo.
Aprende de sus propios éxitos recientes (usando lo que ya resolvió como guía para lo que aún no resuelve).
Ahorra una cantidad enorme de energía (tokens o computación) porque deja de intentar cosas que no funcionan y se enfoca en las estrategias que sí funcionan.

Es como pasar de un ejército que dispara al azar a un equipo de cirujanos que, antes de operar, revisan las operaciones exitosas de sus colegas para asegurar que el paciente salga bien. ¡Y todo esto sin necesidad de volver a entrenar al equipo, simplemente usando su propia experiencia en tiempo real!

Resumen Técnico: Asignación Adaptativa de Cómputo en Tiempo de Prueba con Demostraciones Evolutivas

1. Planteamiento del Problema

El escalado en tiempo de prueba (test-time scaling) ha surgido como una alternativa eficaz al escalado en tiempo de entrenamiento para mejorar el rendimiento de los Modelos de Lenguaje Grande (LLM). Las estrategias actuales, como el muestreo "Best-of-N" o la consistencia auto-generada, suelen compartir dos limitaciones críticas:

Asignación estática de recursos: Distribuyen el cómputo de manera uniforme o basada en estimaciones de dificultad predefinidas, sin adaptarse dinámicamente a los resultados intermedios.
Distribución de generación fija: Aunque generan múltiples respuestas, todas se muestrean desde la misma distribución condicional estática $p(\cdot | x)$ . Esto lleva a rendimientos decrecientes cuando la solución correcta tiene una probabilidad baja bajo la distribución base, especialmente en preguntas difíciles.

El problema central es cómo asignar el cómputo de inferencia de manera adaptativa y cómo utilizar ese cómputo adicional para modificar la distribución de generación del modelo en tiempo real, sin necesidad de reentrenamiento o ajustes de parámetros.

2. Metodología Propuesta

Los autores proponen un marco unificado que combina la asignación adaptativa de recursos con el Aprendizaje en Contexto (ICL) auto-evolutivo. El método opera en dos fases secuenciales dentro de un bucle de inferencia:

Fase 1: Calentamiento (Warm-up)
- Se asigna un presupuesto fijo y pequeño de muestras a todas las preguntas del conjunto de prueba.
- El objetivo es resolver rápidamente los casos "fáciles" y construir un pool inicial de demostraciones ( $D_{test}$ ) a partir de las respuestas correctas obtenidas de las propias preguntas de prueba.
- Las preguntas resueltas se eliminan de la consideración futura, ahorrando recursos.
Fase 2: Muestreo de Distribución Adaptativa
- Se concentra el cómputo restante en las preguntas no resueltas (las más difíciles).
- Mecanismo Clave (ICL Evolutivo): En lugar de volver a muestrear desde la distribución base, el modelo genera nuevas respuestas condicionadas a demostraciones recuperadas dinámicamente.
- Selección de Demostraciones: Para cada pregunta activa $x$ , se seleccionan $P$ preguntas vecinas semánticamente similares (usando similitud de coseno en espacios de incrustación) que ya han sido resueltas correctamente.
- Se construye un prompt de ICL que incluye estas pares (pregunta vecina, respuesta correcta) para guiar la generación de $x$ .
- A medida que más preguntas se resuelven, el pool de demostraciones crece y la distribución de generación se "reconfigura" hacia soluciones más efectivas, creando un ciclo de retroalimentación positiva.

Algoritmo: El proceso se formaliza en un algoritmo iterativo donde, en cada ronda, se generan nuevas respuestas solo para el conjunto activo de preguntas no resueltas, utilizando los vecinos resueltos más recientes como contexto.

3. Contribuciones Clave

Unificación de Asignación y Adaptación: Es el primer marco que aborda simultáneamente dónde gastar el cómputo (asignación adaptativa) y cómo se utiliza ese cómputo para alterar la distribución de generación (ICL evolutivo).
Eficiencia de Tokens: Al resolver preguntas difíciles mediante demostraciones semánticamente relevantes, el método evita la generación de largas cadenas de razonamiento fallidas (alucinaciones), reduciendo significativamente el consumo de tokens en comparación con métodos que solo aumentan el número de muestras.
Independencia de Datos Externos: El sistema construye sus propias demostraciones a partir de las respuestas correctas generadas en tiempo de prueba, eliminando la necesidad de conjuntos de datos de entrenamiento externos o modelos auxiliares para la selección de ejemplos.
Marco Modular: La arquitectura permite sustituir el mecanismo de ICL por otras intervenciones (como ajuste de temperatura), demostrando su flexibilidad.

4. Resultados Experimentales

El método fue evaluado en cuatro benchmarks de razonamiento y codificación (MATH-500, GPQA-Diamond, LiveCodeBench, MinervaMath) y un conjunto personalizado (Reasoning Gym), utilizando diversos modelos (Gemini 2.5, GPT-4.1 Mini, GPT-5 Nano).

Rendimiento Superior: El método propuesto ("Ours (Adpt)") superó consistentemente a las líneas base:
- Unif (Best-of-N uniforme): Mejora significativa en cobertura.
- Elim (Eliminación adaptativa): Supera a los métodos que solo ajustan la cantidad de muestras pero mantienen una distribución fija.
- Ours (Rand): Supera a la variante que usa demostraciones aleatorias, demostrando que la selección semántica es crucial.
Eficiencia de Cómputo: Logró niveles de cobertura más altos utilizando menos tokens de salida que las estrategias de comparación. En benchmarks de razonamiento complejo, la eficiencia en tokens fue notable debido a la resolución temprana de casos difíciles.
Robustez: Los resultados se mantuvieron consistentes a través de múltiples semillas aleatorias y diferentes familias de modelos, tanto en modelos con capacidad de "pensamiento" (thinking) como sin ella.
Estudios de Ablación: Se demostró que el uso de demostraciones fijas es inferior al enfoque evolutivo, y que el método es robusto incluso con recompensas ruidosas o sustituyendo el ICL por ajustes de temperatura.

5. Significado e Impacto

Este trabajo representa un cambio de paradigma en el escalado de inferencia. En lugar de tratar el cómputo en tiempo de prueba como un simple aumento cuantitativo de muestras (más intentos desde la misma distribución), propone un enfoque cualitativo y dinámico.

Optimización de Costos: Al reducir el número de tokens necesarios para alcanzar un rendimiento dado, el método hace viable la implementación de estrategias de escalado en entornos con restricciones de costos o latencia.
Aprovechamiento de Ventanas de Contexto: Utiliza eficazmente las ventanas de contexto cada vez más grandes de los LLM modernos para reutilizar el conocimiento generado internamente durante la inferencia.
Futuro de la Inferencia: Sugiere que la inteligencia en tiempo de prueba no solo reside en la capacidad de razonar más tiempo, sino en la capacidad de aprender de los propios errores y éxitos intermedios para reorientar la búsqueda de soluciones.

En conclusión, la propuesta demuestra que la adaptación de la distribución de generación mediante demostraciones evolutivas es un componente esencial para maximizar el retorno de inversión del cómputo en tiempo de prueba en LLMs.