CARROT: A Learned Cost-Constrained Retrieval Optimization System for RAG

Le papier présente CARROT, un système d'optimisation de la récupération pour la génération augmentée par récupération (RAG) qui utilise une recherche arborescente Monte Carlo et un agent de configuration pour sélectionner et ordonnancer dynamiquement les meilleurs fragments de contexte tout en respectant les contraintes de coût et en évitant la dégradation de la qualité due à la non-monotonie de l'utilité des données.

L'essentiel

🥕 CARROT : Le Chef Cuisinier Intelligent de l'IA

Imaginez que vous avez un Cuisinier Génie (c'est l'Intelligence Artificielle, ou LLM) capable de répondre à n'importe quelle question. Mais ce cuisinier a un problème : il ne connaît pas les actualités d'aujourd'hui et il oublie facilement les détails.

Pour l'aider, vous lui donnez une bibliothèque de recettes (vos documents, articles, bases de données). Le système RAG (Retrieval-Augmented Generation) est le serveur qui va chercher les bonnes recettes dans la bibliothèque pour les donner au cuisinier.

Le problème, c'est que la bibliothèque est immense. Si le serveur donne toutes les recettes au cuisinier, il va se noyer, devenir confus et inventer des choses fausses (des "hallucinations"). De plus, le cuisinier a une table trop petite (la limite de contexte) : il ne peut pas lire tout le livre d'un coup.

C'est ici qu'intervient CARROT. C'est un nouveau système conçu pour choisir exactement les bons morceaux de texte et les présenter dans le bon ordre.

---

🚧 Les 3 Problèmes que CARROT Résout

Les systèmes actuels sont un peu comme des débutants qui font trois erreurs majeures :

1. Ils ne voient pas les liens entre les morceaux :

   • L'analogie : Imaginez que vous cherchez à construire une maison. Un système classique vous donnerait un tas de briques (un morceau sur les fondations) et un tas de tuiles (un morceau sur le toit), mais il ne vous donnerait pas les instructions pour les assembler. Ou pire, il vous donnerait deux fois les mêmes instructions (redondance).
   • La solution CARROT : Il comprend que certains morceaux s'imbriquent mieux ensemble. Il ne choisit pas juste les "plus jolis" morceaux, mais ceux qui forment une histoire cohérente.

2. Plus n'est pas toujours mieux :

   • L'analogie : Si vous essayez de résoudre une énigme, lire 100 pages de détails inutiles peut vous embrouiller plus que de lire 5 pages clés. Parfois, ajouter un peu plus d'information gâche la réponse.
   • La solution CARROT : Il sait s'arrêter à temps. Il ne remplit pas la table jusqu'à la limite maximale si 3 morceaux suffisent. Il cherche le "juste milieu" pour éviter le bruit.

3. Toutes les questions ne sont pas pareilles :

   • L'analogie : Demander "Quelle est la capitale de la France ?" ne demande pas la même stratégie que "Expliquez-moi la théorie des cordes". Un système unique ne peut pas être parfait pour tout.
   • La solution CARROT : Il a un Chef d'Équipe (l'Agent de Configuration) qui regarde la question et décide : "Aujourd'hui, on utilise telle méthode de recherche, avec tel nombre d'essais, pour ce type de question."

---

⚙️ Comment CARROT Fonctionne (La Magie)

CARROT utilise deux astuces principales pour être plus intelligent et plus rapide :

1. L'Exploration par "Arbre de Décision" (MCTS)

Au lieu de choisir le premier morceau de texte qui semble intéressant (comme un gourmand qui prend le premier gâteau qu'il voit), CARROT imagine plusieurs chemins possibles.

• L'analogie : C'est comme un joueur d'échecs. Il ne regarde pas juste le coup immédiat. Il simule mentalement : "Si je prends ce morceau, puis celui-là, puis celui-ci, est-ce que ça donnera la meilleure réponse ?"
• Il teste des combinaisons, évalue les résultats, et garde la meilleure séquence. Il fait cela très vite en parallèle, comme si plusieurs joueurs d'échecs jouaient en même temps.

2. Le Chef d'Équipe Adaptatif (Configuration Agent)

Avant même de commencer la recherche, CARROT a un petit cerveau qui analyse la question.

• L'analogie : C'est comme un chef qui, avant de cuisiner, regarde la météo, les ingrédients disponibles et le goût des clients. Il décide : "Aujourd'hui, il faut cuisiner vite et simple" ou "Aujourd'hui, il faut prendre le temps de chercher les épices rares".
• Cela permet au système de s'adapter instantanément à n'importe quel type de question sans avoir besoin de réapprendre tout depuis le début.

---

🏆 Les Résultats : Pourquoi c'est génial ?

Les chercheurs ont testé CARROT contre les meilleurs systèmes actuels. Voici ce qu'ils ont découvert :

• Plus précis : CARROT donne des réponses 30 % meilleures que les autres méthodes. C'est comme passer d'une réponse moyenne à une réponse d'expert.
• Moins cher : Il utilise moins de "jetons" (c'est la monnaie que coûtent les IA pour lire et écrire). Il est donc moins cher à utiliser pour les entreprises.
• Plus rapide : Même s'il réfléchit plus, il le fait si intelligemment qu'il ne perd pas de temps. Il évite de lire des pages inutiles.
• Robuste : Que vous lui posiez une question simple sur la météo ou une question complexe sur la médecine, il s'adapte et reste performant.

🎯 En Résumé

CARROT, c'est comme passer d'un serveur qui vous jette un tas de livres au hasard dans les bras, à un bibliothécaire expert qui :

1. Lit votre demande.
2. Choisit les 3 ou 4 pages exactes dont vous avez besoin.
3. Les arrange dans l'ordre parfait pour que l'histoire soit claire.
4. Vous les donne sans vous fatiguer les yeux ni gaspiller votre temps.

C'est une avancée majeure pour rendre les IA plus fiables, moins coûteuses et plus intelligentes au quotidien.

Résumé technique

1. Problématique et Contexte

Les modèles de langage (LLM) souffrent de limitations majeures : ils peinent à accéder à des connaissances à jour et sont sujets aux hallucinations. La Génération Augmentée par Récupération (RAG) est la solution standard pour intégrer des connaissances externes. Cependant, les systèmes RAG actuels font face à trois défis critiques :

1. Relations entre les fragments (Chunks) : Les méthodes existantes (comme AKNN ou le clustering) traitent les fragments de manière indépendante ou par grappes, ignorant les corrélations, les redondances et l'importance de l'ordre dans lequel les fragments sont présentés au LLM. Une mauvaise organisation peut entraîner une perte d'information (« lost in the middle »).
2. Non-monotonie de l'utilité : L'hypothèse courante selon laquelle « plus de fragments = meilleure réponse » est fausse. Ajouter trop de fragments peut diluer l'information clé, introduire du bruit ou créer des conflits, dégradant ainsi la qualité de la réponse.
3. Diversité des requêtes : Une stratégie de récupération unique (un seul modèle de réordonnancement) ne fonctionne pas optimalement pour tous les types de requêtes ou domaines (académique, juridique, e-commerce, etc.).

De plus, les approches actuelles basées sur le graphes ou le fine-tuning sont souvent trop coûteuses en calcul pour être déployées à grande échelle.

2. Méthodologie : Le Framework CARROT

Les auteurs proposent CARROT, un framework d'optimisation de récupération basé sur l'apprentissage, conçu pour trouver la combinaison optimale de fragments sous une contrainte de coût (nombre de tokens).

A. Modélisation du Problème

Le problème est formalisé comme la sélection d'un ordre optimal de combinaison de fragments ($\Phi$) qui maximise l'utilité (qualité de réponse) tout en respectant un budget de tokens ($B$).

• Complexité : Le problème est prouvé comme étant NP-difficile car l'utilité d'une combinaison n'est pas additive (l'utilité de $A+B$ n'est pas égale à $Utilité(A) + Utilité(B)$) et l'espace de recherche des permutations croît exponentiellement.

B. Architecture Principale

Le système se compose de deux modules clés (voir Figure 2 du papier) :

1. Recherche d'Ordre Optimal (Optimal Chunk Combination Search) :

   • Au lieu d'une sélection gourmande (greedy), CARROT utilise une Recherche Arborescente par Monte Carlo (MCTS).
   • Arbre de Stratégie (Policy Tree) : Chaque nœud représente une séquence de fragments. La racine est vide, et les enfants sont formés en ajoutant un fragment.
   • Fonction d'Utilité : Une fonction UCB (Upper Confidence Bound) adaptée au coût guide la sélection des nœuds, équilibrant l'exploration de nouvelles combinaisons et l'exploitation des meilleures, tout en respectant le budget.
   • Simulation Parallèle : Pour accélérer le processus, les fragments candidats sont évalués en parallèle par un modèle de réordonnancement (Reranker) en un seul appel de lot, réduisant considérablement la latence.
   • Rétropropagation : Les scores sont propagés vers la racine pour mettre à jour les statistiques des nœuds.

2. Agent de Configuration (Configuration Agent) :

   • Pour s'adapter à la diversité des requêtes, un agent apprend à prédire les meilleurs hyperparamètres pour le MCTS (nombre d'itérations, coefficient d'exploration, coefficient de coût) et le meilleur modèle de réordonnancement pour chaque domaine.
   • Apprentissage : Il utilise un réseau de type Siamese avec un apprentissage par contraste (Contrastive Learning). Il apprend à regrouper les requêtes ayant le même réordonnancement optimal et à séparer celles qui en ont un différent.
   • Entraînement Joint : L'agent est entraîné simultanément pour la classification (choix du réordonnancement) et la régression (prédiction des paramètres MCTS).

3. Contributions Clés

1. Premier cadre RAG considérant l'ordre des fragments : CARROT est la première approche à optimiser explicitement la séquence des fragments, et non seulement leur sélection, via une recherche arborescente.
2. Gestion de la non-monotonie et des contraintes de coût : Contrairement aux méthodes qui épuisent le budget, CARROT intègre la contrainte de coût directement dans l'optimisation pour trouver le point d'équilibre optimal, même si cela signifie utiliser moins de tokens.
3. Agent de configuration adaptatif : Un mécanisme d'apprentissage qui ajuste dynamiquement la stratégie de recherche en fonction du domaine de la requête, éliminant le besoin de réglages manuels fixes.
4. Efficacité computationnelle : L'utilisation de l'évaluation parallèle et de la recherche MCTS permet d'obtenir des résultats de haute qualité avec un coût de tokens et une latence bien inférieurs aux méthodes basées sur les graphes ou le fine-tuning.

4. Résultats Expérimentaux

Les expériences ont été menées sur trois jeux de données (WikiPassageQA, MARCO, HotpotQA) avec différents LLMs (Llama3-8B, DeepseekV3, GPT-4o).

• Performance (Qualité) : CARROT surpasse toutes les méthodes de base (y compris GraphRAG, RAPTOR, NaiveRAG) avec une amélioration d'environ 30 % sur les métriques ROUGE et F1.
• Efficacité (Coût) :
  • CARROT atteint une meilleure qualité avec moins de tokens consommés que les méthodes concurrentes (ex: 811 tokens vs 1024+ pour les bases).
  • La latence est compétitive : bien que la recherche MCTS ajoute un temps de calcul, l'évaluation parallèle des réordonnancements maintient la latence globale faible (environ 3,1 secondes par requête contre 45+ secondes pour FLARE ou 80+ pour GraphRAG).
• Évolutivité (Scalability) : La latence de CARROT n'augmente que de ~10 % lorsque la taille de la base de données passe de 10k à 100k fragments, démontrant une excellente scalabilité.
• Généralisation : L'agent de configuration permet au système de bien performer sur des domaines et des jeux de données non vus lors de l'entraînement.

5. Signification et Impact

Ce travail est significatif car il remet en question l'hypothèse fondamentale de la RAG traditionnelle selon laquelle « plus de contexte est toujours mieux ». En prouvant que l'ordre et la sélection stratégique (plutôt que la quantité brute) sont cruciaux, CARROT offre une voie vers des systèmes RAG :

• Plus précis : En évitant le bruit et en optimisant la structure de l'information.
• Plus économiques : En réduisant drastiquement l'utilisation de tokens (coût d'inférence LLM) et de calcul.
• Pratiques : Ne nécessitant pas de fine-tuning coûteux de modèles LLM, ce qui le rend applicable aux entreprises avec des ressources limitées.

Le code source est disponible publiquement, facilitant l'adoption et l'extension de cette approche pour les tâches de récupération d'information complexes.