Scaling Test-Time Compute to Achieve IOI Gold Medal with Open-Weight Models

A continuación presento un resumen técnico detallado del artículo "Scaling Test-Time Compute to Achieve IOI Gold Medal with Open-Weight Models" en español.

1. Problema y Contexto

La programación competitiva, y específicamente la Olimpiada Internacional de Informática (IOI), se ha establecido como un benchmark riguroso para evaluar las capacidades de razonamiento y resolución de problemas de los Modelos de Lenguaje Grandes (LLM). Aunque modelos propietarios (como los de OpenAI) han logrado medallas de oro en la IOI, sus métodos suelen ser opacos y no reproducibles.

El desafío principal abordado en este trabajo es lograr un rendimiento de nivel "medalla de oro" en la IOI utilizando modelos de pesos abiertos (open-weight), que tradicionalmente han quedado por detrás de los sistemas cerrados en tareas de razonamiento complejo. Además, existe una limitación crítica en las competiciones reales: los participantes tienen un presupuesto estricto de envíos (máximo 50 por problema), lo que obliga a seleccionar las mejores soluciones de un espacio de búsqueda masivo de manera eficiente.

2. Metodología: GENCLUSTER

Los autores proponen GENCLUSTER, un marco escalable de computación en tiempo de prueba (test-time compute) diseñado para navegar eficientemente el espacio de soluciones bajo restricciones de validación limitadas. El pipeline consta de cuatro etapas principales (ilustradas en la Figura 1 del paper):

A. Generación Paralela de Candidatos

Para cada subproblema, el modelo LLM genera un conjunto masivo de soluciones candidatas ($K$) en paralelo. Las soluciones que no se compilan o no se pueden analizar se filtran inmediatamente.

B. Agrupamiento Conductual (Behavioral Clustering)

En lugar de clasificar soluciones por similitud de código, se agrupan por comportamiento:

1. Generación de Pruebas: El LLM genera múltiples programas para crear entradas de prueba aleatorias y validadores independientes que verifican si las entradas cumplen las restricciones del subproblema.
2. Ejecución y Hashing: Todas las soluciones candidatas se ejecutan en un conjunto de casos de prueba validados.
3. Clustering: Las soluciones que producen exactamente la misma salida para todos los casos de prueba se agrupan en el mismo clúster. Se eliminan los clústeres que producen salidas vacías (errores de tiempo de ejecución).

C. Clasificación mediante Torneo (Tournament Ranking)

Dado que el agrupamiento produce muchos clústeres, se necesita un mecanismo para priorizar cuáles enviar:

1. Representante: Se selecciona la solución con la traza de razonamiento más larga dentro de cada clúster como su representante.
2. Torneo de Parejas: Los representantes de los clústeres compiten en un torneo de tipo "round-robin" parcial. Un LLM actúa como juez, comparando pares de soluciones y seleccionando al ganador.
3. Ranking: Los clústeres se ordenan basándose en el número de victorias de sus representantes. Se aleatoriza el orden de presentación para mitigar el sesgo de posición.

D. Estrategia de Envío (Round-Robin Submission)

Para respetar el límite de 50 envíos por problema:

• Se priorizan los subproblemas más difíciles (últimos subproblemas).
• Se envían soluciones de los clústeres mejor clasificados en un ciclo round-robin (girando entre clústeres).
• Dentro de cada clúster, se envían las soluciones ordenadas por longitud de razonamiento.
• Una vez que un subproblema alcanza su puntuación máxima, se dejan de enviar soluciones para él y se avanza al siguiente.

3. Contribuciones Clave

1. Propuesta de GENCLUSTER: Un enfoque escalable que combina generación masiva, agrupamiento conductual, torneos de clasificación y una estrategia de envío estructurada.
2. Primera Medalla de Oro con Modelos Abiertos: Demostración de que es posible alcanzar una medalla de oro en la IOI 2025 utilizando exclusivamente modelos de pesos abiertos (específicamente gpt-oss-120b) combinados con una estrategia de computación en tiempo de prueba transparente y reproducible.
3. Análisis de Escalabilidad: Evidencia empírica de que el rendimiento mejora consistentemente a medida que aumenta el presupuesto de cómputo (número de generaciones), cerrando la brecha entre sistemas abiertos y cerrados.

4. Resultados Experimentales

• Comparación de Modelos: Se evaluaron modelos como DeepSeek-R1-0528, Qwen3-235B-A22B y variantes de gpt-oss. El modelo gpt-oss-120b superó significativamente a los demás, mostrando una escalabilidad superior al aumentar el número de generaciones.
• Rendimiento con Restricciones: Utilizando GENCLUSTER con 5,000 generaciones por subproblema y respetando el límite de 50 envíos, el sistema alcanzó una puntuación de 446.75, superando el umbral de medalla de oro (438.3) en la IOI 2025.
• Ablación de Estrategias:
  • La selección aleatoria o basada solo en la longitud del razonamiento sin clustering obtuvo puntuaciones bajas (~300).
  • El método de votación mayoritaria (Cluster-Majority) fue subóptimo en problemas tan difíciles.
  • GENCLUSTER (con torneo y representantes de mayor longitud) superó a todas las alternativas, logrando 446.75 puntos.
• Impacto de la Escala: A medida que aumentó $K$ (número de generaciones), la puntuación aumentó de 332.27 ($K=50$) a 446.75 ($K=5000$), demostrando que el método escala bien con el cómputo.

5. Significado e Implicaciones

• Reproducibilidad y Transparencia: A diferencia de los resultados de OpenAI, que no han revelado sus metodologías ni presupuestos de cómputo, este trabajo ofrece un pipeline completamente especificado y reproducible.
• Cierre de la Brecha: Establece un nuevo punto de referencia (baseline) que demuestra que los modelos de pesos abiertos pueden competir con los sistemas propietarios en tareas de razonamiento complejo si se aplica suficiente computación en tiempo de prueba.
• Limitaciones: El enfoque requiere una infraestructura de cómputo masiva (aprox. 7.3 mil millones de tokens solo para generar candidatos y otros 7.3 mil millones para el torneo de clasificación). Además, depende de la generación sintética de pruebas, lo que podría dejar "puntos ciegos" en casos extremos raros, y el uso de un LLM como juez introduce cierto ruido en la clasificación.

En conclusión, el paper demuestra que la escala de computación en tiempo de prueba, cuando se gestiona mediante una estrategia inteligente de agrupamiento y selección (GENCLUSTER), es la clave para que los modelos abiertos alcancen la élite en programación competitiva.