💬 NLP

Scaling Test-Time Compute to Achieve IOI Gold Medal with Open-Weight Models

Ce papier présente GenCluster, un cadre de calcul à l'exécution évolutif et reproductible qui permet à un modèle open-weight (gpt-oss-120b) d'atteindre pour la première fois le niveau de médaille d'or aux Olympiades Internationales d'Informatique 2025 en combinant une génération à grande échelle, un regroupement comportemental et une stratégie de soumission par tournoi.

Auteurs originaux : Mehrzad Samadi, Aleksander Ficek, Sean Narenthiran, Siddhartha Jain, Wasi Uddin Ahmad, Somshubra Majumdar, Vahid Noroozi, Boris Ginsburg

Publié 2026-04-16

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Mehrzad Samadi, Aleksander Ficek, Sean Narenthiran, Siddhartha Jain, Wasi Uddin Ahmad, Somshubra Majumdar, Vahid Noroozi, Boris Ginsburg

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🏆 Le Grand Défi : Le Championnat IOI

Imaginez le IOI (Olympiades Internationales d'Informatique) comme le "Super Bowl" ou le "Tour de France" de la programmation. C'est un concours ultra-difficile où les meilleurs jeunes programmeurs du monde doivent résoudre des énigmes mathématiques et logiques complexes en écrivant du code.

Jusqu'à présent, seuls des modèles d'intelligence artificielle "fermés" (comme ceux d'OpenAI, gardés secrets comme des recettes de famille) avaient réussi à gagner la médaille d'or. Les modèles "ouverts" (dont le code est public, comme ceux de NVIDIA, DeepSeek ou Qwen) étaient bons, mais pas encore au niveau des champions.

🚀 La Solution : GENCLUSTER (Le Chef d'Orchestre)

Les auteurs de ce papier, de chez NVIDIA, ont créé une méthode appelée GENCLUSTER. Au lieu de demander à un seul robot de réfléchir une seule fois et de donner la réponse, ils ont inventé une stratégie en quatre étapes pour transformer une armée de robots en une équipe de champions.

Voici comment ça marche, avec une analogie culinaire :

1. La Grande Fournée (Génération Parallèle)

Au lieu de faire cuire un seul gâteau, imaginez que vous avez 5 000 fourneaux. Vous demandez à votre chef robot (le modèle d'IA) de préparer 5 000 versions différentes du même gâteau (la solution au problème).

En vrai : Le système génère des milliers de lignes de code différentes pour chaque problème.

2. Le Tri par Goût (Clustering Comportemental)

Vous avez 5 000 gâteaux, mais vous ne pouvez pas tous les goûter un par un (ce serait trop long). Alors, vous les regroupez par "famille de goût".

Si le gâteau A, le gâteau B et le gâteau C réagissent exactement de la même façon quand on y ajoute du sucre ou du sel (c'est-à-dire qu'ils donnent le même résultat sur des tests), on les met dans le même panier.
En vrai : Le système exécute les codes sur des tests générés par l'IA et regroupe ceux qui ont le même comportement.

3. Le Tournoi des Champions (Ranking par Tournoi)

Maintenant, vous avez une dizaine de paniers (clusters). Lequel est le meilleur ? Vous organisez un tournoi.

Vous prenez le meilleur représentant de chaque panier (celui qui a réfléchi le plus longtemps) et vous les faites s'affronter deux par deux devant un arbitre (une autre IA).
L'arbitre regarde les deux recettes et dit : "Celui-ci est plus logique". Le gagnant marque un point. À la fin, on classe les paniers selon le nombre de victoires.
En vrai : Une IA compare les solutions et classe les groupes de codes du plus prometteur au moins prometteur.

4. La Stratégie de Soumission (Le Round-Robin)

Le concours a une règle stricte : vous n'avez le droit de soumettre que 50 gâteaux au jury final. Si vous envoyez les mauvais, vous perdez des points.

Au lieu de tout envoyer d'un coup, vous utilisez une stratégie intelligente : vous prenez un gâteau du panier n°1, puis un du panier n°2, puis un du panier n°3, et vous faites le tour (round-robin) jusqu'à épuisement de vos 50 essais.
Si un panier est résolu, vous passez au suivant.
En vrai : Le système soumet les solutions dans un ordre précis pour maximiser les chances de succès avant d'épuiser les 50 tentatives autorisées.

🏅 Le Résultat : Une Première Historique

Grâce à cette méthode, ils ont pris un modèle ouvert (le gpt-oss-120b) et l'ont transformé en champion.

Le résultat : Ce modèle a réussi à obtenir la médaille d'or aux IOI 2025.
Pourquoi c'est important : C'est la première fois qu'un modèle dont le code est public (open-weight) atteint ce niveau, sans avoir besoin de secrets industriels.

💡 La Leçon Principale : Plus de Calcul = Plus de Sagesse

L'idée clé de ce papier est que si on donne assez de "temps de calcul" (comme donner plus de temps de réflexion ou plus d'essais), même un modèle ouvert peut rivaliser avec les géants fermés.

C'est comme si on disait : "Même si un seul cuisinier est moins doué qu'un chef étoilé, si on lui donne 5 000 assistants pour tester des milliers de recettes et un système intelligent pour choisir la meilleure, il finira par gagner le concours."

⚠️ Les Limites (Le revers de la médaille)

Bien sûr, ce n'est pas magique :

Ça coûte cher en énergie : Générer 5 000 solutions demande beaucoup d'ordinateurs et d'électricité (comme faire cuire 5 000 gâteaux en même temps).
Les tests sont imparfaits : Les tests générés par l'IA ne couvrent pas tous les cas possibles, un peu comme si on testait un gâteau sans jamais le faire cuire au four.
L'arbitre peut se tromper : L'IA qui classe les solutions peut être biaisée par la longueur du texte plutôt que par la justesse du code.

En résumé : Ce papier montre que l'intelligence artificielle ouverte peut atteindre le sommet mondial, à condition d'utiliser une stratégie intelligente de "beaucoup d'essais + tri intelligent" plutôt que de compter uniquement sur la puissance brute d'un seul modèle.

1. Problématique et Contexte

Le domaine de la programmation compétitive est devenu un banc d'essai rigoureux pour évaluer les capacités de raisonnement des grands modèles de langage (LLM). Les benchmarks traditionnels (comme HumanEval) étant saturés, la communauté se tourne vers des compétitions complexes comme l'Olympiade Internationale d'Informatique (IOI).

Bien que des modèles propriétaires (comme ceux d'OpenAI avec o1-ioi et o3) aient atteint le niveau de médaille d'or à l'IOI, leurs méthodes restent souvent secrètes ("boîte noire"). À l'inverse, les modèles à poids ouverts (open-weight) comme DeepSeek-R1 ou Qwen3, bien que performants, peinent encore à rivaliser avec les systèmes fermés sur ces tâches extrêmes, notamment en raison de contraintes strictes de soumission (limite de 50 soumissions par problème) et de la difficulté à sélectionner la meilleure solution parmi des milliers de candidats générés.

L'objectif de cet article est de démontrer qu'il est possible d'atteindre le niveau de médaille d'or à l'IOI 2025 en utilisant uniquement des modèles à poids ouverts, grâce à une stratégie de calcul au moment de l'inférence (test-time compute) transparente et reproductible.

2. Méthodologie : Le Framework GENCLUSTER

Les auteurs proposent GENCLUSTER, un framework évolutif qui combine la génération massive de solutions, le regroupement comportemental, un système de classement par tournoi et une stratégie de soumission optimisée. Le pipeline se déroule en quatre étapes principales :

A. Génération Parallèle de Candidats

Pour chaque sous-tâche d'un problème, le modèle génère un grand nombre de solutions candidates (jusqu'à 5000) en parallèle. Les solutions qui ne compilent pas ou ne sont pas parseables sont filtrées.

B. Regroupement Comportemental (Behavioral Clustering)

Pour réduire l'espace de recherche et rendre le classement efficace, les solutions sont regroupées par similarité comportementale :

Génération de tests : Le LLM génère des entrées de test aléatoires conformes aux spécifications et des validateurs indépendants pour vérifier leur validité (un test est conservé si 75 % des validateurs l'acceptent).
Exécution et Hashing : Toutes les solutions candidates sont exécutées sur ces tests. Les solutions produisant exactement les mêmes sorties pour tous les tests sont regroupées dans le même cluster. Les clusters contenant des erreurs d'exécution sont éliminés.

C. Classement par Tournoi (Tournament Ranking)

Une fois les clusters formés, un mécanisme de sélection est nécessaire pour identifier les meilleurs candidats sous contrainte de budget de soumission :

Représentant : Pour chaque cluster, la solution avec la trace de raisonnement la plus longue est choisie comme représentante.
Tournoi : Les représentants des clusters s'affrontent dans un tournoi de type "round-robin" partiel (chaque cluster joue $G_n$ matchs contre d'autres clusters choisis au hasard).
Juge LLM : Un LLM compare deux solutions à la fois (en randomisant l'ordre d'apparition pour éviter les biais de position) et désigne un gagnant.
Classement : Les clusters sont classés selon le nombre de victoires de leur représentant.

D. Stratégie de Soumission (Round-Robin)

Pour respecter la limite de 50 soumissions par problème imposée par l'IOI :

Le système traite les sous-tâches de la plus difficile à la plus facile.
Il parcourt les clusters classés et soumet une solution de chaque cluster de manière cyclique (round-robin).
Une fois une sous-tâche résolue (score maximal atteint), les soumissions restantes pour cette sous-tâche sont ignorées pour se concentrer sur les suivantes.

3. Contributions Clés

Première médaille d'or avec un modèle ouvert : L'article démontre pour la première fois qu'un modèle à poids ouvert (gpt-oss-120b) peut atteindre le niveau de médaille d'or à l'IOI 2025 en utilisant une stratégie de calcul au moment de l'inférence transparente.
Framework GENCLUSTER : Introduction d'une approche scalable combinant clustering comportemental, tournoi de classement et stratégie de soumission cyclique pour optimiser l'utilisation d'un budget de soumission limité.
Lois d'échelle (Scaling Laws) : Démonstration que la performance s'améliore de manière cohérente avec l'augmentation des ressources de calcul (nombre de générations), comblant ainsi l'écart entre les systèmes ouverts et fermés.
Reproductibilité : Le code et la méthodologie sont prévus pour être publiés, offrant une base de référence pour l'évaluation transparente du raisonnement des LLM.

4. Résultats Expérimentaux

Les expériences ont été menées sur le benchmark IOI 2025 en comparant plusieurs modèles (gpt-oss-120b, gpt-oss-20b, DeepSeek-R1-0528, Qwen3-235B-A22B).

Performance du Modèle : Le modèle gpt-oss-120b s'est avéré nettement supérieur aux autres modèles ouverts, montrant une meilleure capacité d'échelle avec l'augmentation du nombre de générations.
Résultats de Score :
- Avec 5000 générations par sous-tâche et la stratégie GENCLUSTER, le système atteint un score de 446,75, dépassant le seuil de médaille d'or (438,3).
- Cela représente une amélioration significative par rapport aux scores obtenus sans stratégie de sélection avancée (ex: 332,27 pour K=50).
Comparaison des Stratégies :
- GENCLUSTER (446,75) surpasse largement les méthodes baselines comme la sélection aléatoire (300,10), la sélection par longueur de raisonnement seule (277,36) ou le regroupement par majorité (314,22).
- L'utilisation d'un tournoi pour le classement et la sélection de la solution la plus longue comme représentante se sont révélées être les composants les plus critiques.
Échelle et Coût : L'approche nécessite une puissance de calcul massive (environ 7,3 milliards de tokens pour la génération et 7,3 milliards pour le tournoi de classement pour 5000 solutions), ce qui souligne le coût du "test-time compute" mais valide son efficacité.

5. Signification et Limites

Signification :
Ce travail est une avancée majeure car il prouve que la supériorité des modèles propriétaires sur les tâches de raisonnement complexe n'est pas uniquement due à l'architecture du modèle, mais aussi à des stratégies de calcul au moment de l'inférence sophistiquées. En rendant cette méthode reproductible avec des modèles ouverts, les auteurs établissent un nouveau standard pour l'évaluation équitable des capacités de raisonnement des LLM.

Limites identifiées :

Coût de Calcul : La méthode est extrêmement gourmande en ressources, la rendant difficilement applicable en temps réel ou dans des environnements à faible ressources.
Tests Synthétiques : Le regroupement dépend de tests générés par le modèle lui-même, ce qui peut créer des "angles morts" et ne pas distinguer correctement des solutions divergentes sur des cas limites rares.
Biais du Juge LLM : Le classement par tournoi repose sur l'évaluation d'un LLM, qui peut être influencé par des caractéristiques superficielles (style de code, longueur) plutôt que par la correction pure.
Corrélation Longueur/Justesse : L'hypothèse selon laquelle une trace de raisonnement plus longue indique une meilleure solution n'est pas toujours vraie et peut favoriser des solutions verbeuses mais incorrectes.

En conclusion, GENCLUSTER offre une voie prometteuse pour surpasser les performances des modèles ouverts sur des tâches de programmation compétitive, en transformant la contrainte de budget de soumission en un problème d'optimisation de sélection de solutions.