Short Chains, Deep Thoughts: Balancing Reasoning Efficiency and Intra-Segment Capability via Split-Merge Optimization

1. Énoncé du problème

Les modèles de raisonnement à grande échelle (LRM) ont démontré des capacités impressionnantes dans des tâches complexes (par exemple, questions-réponses multi-sauts, mathématiques, code) en générant de longues chaînes de pensée (CoT). Cependant, cette dépendance à une génération verbeuse introduit deux problèmes critiques :

• Surcharge computationnelle : Les longues chaînes de raisonnement entraînent une latence et une consommation de tokens significatives.
• Redondance structurelle : Raccourcir simplement les chaînes de manière indiscriminée (par exemple, via des limites de tokens ou l'élagage) perturbe souvent la cohérence logique. À l'inverse, une longueur excessive introduit des étapes redondantes qui peuvent confondre le modèle, en particulier dans les questions-réponses (QA) à forte intensité de connaissances et multi-sauts.
• Le défi central : Les méthodes existantes échouent à distinguer la redondance structurelle (étapes ou segments de raisonnement inutiles) de la profondeur intra-segment (le volume de tokens nécessaire pour expliquer une seule étape logique). Les approches actuelles pénalisent souvent la longueur totale des tokens, supprimant involontairement les capacités de raisonnement profond nécessaires aux problèmes complexes.

2. Méthodologie : Cadre CoSMo

Les auteurs proposent CoSMo (Consistency-Guided Split-Merge Optimization), un cadre conçu pour optimiser la topologie de la chaîne de raisonnement plutôt que simplement sa longueur. Il fonctionne en deux étapes :

A. Algorithme de Split-Merge Optimization (Curation de données et SFT)

Inspiré par les algorithmes de segmentation d'images, CoSMo traite la chaîne de raisonnement comme une séquence de segments discrets ($s_1, s_2, ..., s_N$). Il affine itérativement la chaîne pour aligner le nombre de segments ($N$) avec le nombre de sauts de vérité terrain ($k^*$) du problème.

• Phase de fusion : Si $N > k^*$ (redondance), l'algorithme utilise un Juge de cohérence basé sur un LLM pour identifier les segments adjacents qui sont sémantiquement redondants (par exemple, des paraphrases ou des extensions triviales). Un Générateur sémantique fusionne ensuite ces éléments en une seule unité logique concise.
• Phase de division : Si $N < k^*$ (sauts logiques), l'algorithme détecte une logique grossière où plusieurs étapes sont compressées. Le Générateur décompose ces éléments en sous-segments plus fins et cohérents pour assurer la continuité logique.
• Résultat : Ce processus crée un jeu de données de haute densité logique ($D_{cosmo}$) utilisé pour le Fine-Tuning Supervisé (SFT), inculquant une priorité structurelle dans le modèle.

B. Apprentissage par renforcement aligné sur la structure (RL)

Après le SFT, le modèle est davantage optimisé en utilisant l'Optimisation de la Politique Relative par Groupes (GRPO).

• Mécanisme de récompense novateur : Au lieu de pénaliser le nombre total de tokens, CoSMo introduit un Budget au niveau du segment.
  • Récompense de format : Garantit une adhésion stricte à la structure de liste numérotée.
  • Récompense de justesse : Récompense les correspondances exactes avec la réponse.
  • Récompense d'efficacité structurelle : Pénalise l'écart entre le nombre de segments et la vérité terrain ($|N - k^*|$).
• Innovation clé : Cette conception permet au modèle d'augmenter la longueur des tokens au sein d'un segment (pour un raisonnement profond) sans pénalité, tant que le nombre de segments reste optimal. Cela découple l'efficacité structurelle de la profondeur descriptive.

3. Contributions clés

1. Découplage de la structure et de la profondeur : Le papier définit formellement l'efficacité du raisonnement non pas par le volume de tokens, mais par l'alignement topologique avec la complexité du problème. Il sépare la redondance structurelle (nombre de segments) du raisonnement intra-segment (granularité des tokens).
2. Split-Merge guidé par la cohérence : Un algorithme novateur qui curationne dynamiquement les données d'entraînement en fusionnant les étapes redondantes et en divisant les lacunes logiques, garantissant à la fois la concision et la continuité logique.
3. Budgétisation au niveau du segment en RL : Une stratégie d'apprentissage par renforcement qui remplace les contraintes globales de tokens par une pénalité de nombre de segments, empêchant la suppression des détails de raisonnement profond nécessaires.
4. Validation empirique : Des expériences complètes démontrant que l'optimisation de la structure produit de meilleures performances que l'optimisation de la longueur seule.

4. Résultats expérimentaux

Les auteurs ont évalué CoSMo sur plusieurs benchmarks (HotpotQA, HaluEval, NQ, CRAG) en utilisant les modèles Llama-3.1-8B et Qwen-2.5.

• Gains de performance : CoSMo a réalisé une amélioration moyenne de la précision de +3,3 points sur les benchmarks par rapport aux références d'efficacité de raisonnement.
• Efficacité :
  • Réduction de la consommation moyenne de tokens de 29,5 %.
  • Réduction du nombre moyen de segments de 28,7 % par rapport aux références de raisonnement efficace.
  • Sur HotpotQA (majoritairement des questions à 2 sauts), CoSMo a réduit la redondance structurelle (segments dépassant la vérité terrain) d'environ 1,6 (CoT) à 0,6.
• Robustesse :
  • CoSMo a maintenu une précision élevée à mesure que la difficulté de la tâche augmentait (des questions à 2 sauts aux questions à 4 sauts), tandis que des références comme CoT et C3oT ont subi des baisses de précision significatives.
  • Le modèle a montré une supériorité constante à travers différents juges LLM (Qwen-7B/14B/72B, Llama-3.1), prouvant que les gains sont dus à une validité logique intrinsèque plutôt qu'à un biais du juge.
• Études d'ablation :
  • La phase SFT (Split-Merge) seule a fourni des gains significatifs en précision et en réduction de tokens.
  • La phase RL a encore renforcé les capacités intrinsèques.
  • La combinaison des deux étapes a produit les meilleurs résultats, confirmant que les priors structurels et l'alignement RL sont complémentaires.

5. Signification et impact

• Durabilité computationnelle : En éliminant la redondance structurelle sans sacrifier la profondeur du raisonnement, CoSMo offre une voie vers une "IA verte", réduisant l'empreinte carbone et les coûts d'inférence des LRM.
• Changement de paradigme : Ce travail remet en question l'approche prédominante du "budget de tokens", suggérant que la structure du raisonnement est une cible d'optimisation plus critique que le volume des tokens.
• Interprétabilité : La structure de raisonnement segmentée résultante est plus transparente, permettant une meilleure analyse de la manière dont les modèles allouent leurs ressources lors de l'inférence.
• Généralisabilité : La méthode est agnostique au modèle et efficace sur différentes architectures de base et niveaux de difficulté, ce qui en fait une approche prometteuse pour déployer des modèles de raisonnement efficaces sur des appareils aux ressources limitées.