💬 NLP

CUBO: Self-Contained Retrieval-Augmented Generation on Consumer Laptops 10 GB Corpora, 16 GB RAM, Single-Device Deployment

Ce document présente CUBO, une plateforme de génération augmentée par récupération autonome conçue pour fonctionner sur des ordinateurs portables grand public dotés de 16 Go de RAM, permettant un traitement local conforme au RGPD de corpus de documents de 10 Go avec des performances de recherche compétitives.

Auteurs originaux : Paolo Astrino

Publié 2026-02-04

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Paolo Astrino

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédez une immense bibliothèque de documents sensibles — contrats juridiques, dossiers médicaux ou fichiers privés d'entreprise. Vous voulez poser des questions à votre ordinateur sur ces documents et obtenir des réponses intelligentes, mais vous faites face à deux problèmes majeurs :

Confidentialité : Vous ne pouvez pas envoyer ces fichiers vers le cloud (comme Google ou Microsoft) en raison de lois strictes sur la protection de la vie privée (RGPD). Ils doivent rester sur votre ordinateur.
Matériel : La plupart des systèmes informatiques « intelligents » qui conservent les données localement sont comme des chariots élévateurs ultra-puissants ; ils nécessitent une énorme quantité de mémoire (32 Go de RAM) pour fonctionner. Mais la plupart des gens possèdent simplement des ordinateurs portables standards avec 16 Go de RAM.

CUBO est un nouveau système conçu pour être un « bibliothécaire compact et autonome » qui tient dans un ordinateur portable standard, gère 10 Go de documents et ne quitte jamais votre appareil.

Voici comment il fonctionne, en utilisant des analogies simples :

1. L'ingestion par « flux » (Le tapis roulant)

Habituellement, pour lire un gros livre, on essaie de soulever tout le livre d'un coup sur une table. Si la table est petite (la mémoire de votre ordinateur), le livre tombe.

L'approche de CUBO : Au lieu de soulever tout le livre, CUBO utilise un tapis roulant. Il lit les documents page par page, traite un petit morceau, l'écrit sur le disque dur, puis libère immédiatement ses mains pour saisir le morceau suivant.
Le résultat : Il peut traiter une bibliothèque de 10 Go sans jamais avoir besoin de plus qu'une infime quantité de mémoire temporaire (comme une seule tasse d'eau), quelle que soit la taille de la bibliothèque.

2. La bibliothèque à deux niveaux (Les étagères « Chaud » et « Froid »)

Pour trouver l'information rapidement sans manquer d'espace, CUBO divise la bibliothèque en deux zones :

L'étagère « Chaud » (RAM) : C'est l'étagère rapide, coûteuse et à haute vitesse située juste à côté du bibliothécaire. Elle contient les 500 000 documents les plus récents. Elle est super rapide (trouver un livre prend 1 milliseconde) mais l'espace est limité.
L'étagère « Froid » (Disque dur) : C'est l'archive massive située au sous-sol. Elle contient le reste de la bibliothèque de 10 Go. L'accès est plus lent (comme descendre au sous-sol), mais elle est immense.
L'astuce : CUBO utilise une technique de compression spéciale (comme plier les vêtements de manière serrée) pour réduire la taille des documents de l'étagère « Froid » afin qu'ils n'occupent presque plus de place. Une bibliothèque de 10 Go est réduite à un index minuscule de 200 Mo.

3. Le détective hybride (La stratégie des « deux recherches »)

Lorsque vous posez une question, CUBO ne se contente pas de chercher des mots-clés ; il utilise deux détectives travaillant ensemble :

Le Détective A (Le chasseur de mots-clés) : Cherche des mots exacts (comme « Contrat » ou « Article 5 »). C'est idéal pour les noms spécifiques ou les termes juridiques.
Le Détective B (Le chasseur de sens) : Comprend l'idée derrière votre question, même si vous utilisez des mots différents.
La Fusion : CUBO combine leurs rapports. Si le Chasseur de Mots-clés trouve un document contenant les bons mots, et que le Chasseur de Sens pense qu'il est pertinent, ils votent ensemble. Cela garantit que vous obtenez la bonne réponse, que vous demandiez « Quelle est la pénalité ? » ou « Combien dois-je ? ».

4. Le gestionnaire de mémoire « intelligent »

L'article affirme que CUBO est « conscient du matériel ». Considérez cela comme un contrôleur de trafic.

Si l'ordinateur portable est occupé, CUBO ralentit le « tapis roulant » des nouveaux documents pour ne pas bloquer vos questions actuelles.
Il élimine automatiquement les outils inutilisés (comme le modèle d'embedding) de la mémoire lorsqu'ils ne sont plus nécessaires, et les ramène uniquement quand c'est nécessaire. Cela évite que l'ordinateur ne plante, même avec une bibliothèque complète.

5. Les résultats : Ce qui fonctionne et ce qui ne fonctionne pas

L'article a testé CUBO sur des benchmarks standards (comme des articles scientifiques, de la finance et des documents juridiques) sur un ordinateur portable standard de 16 Go.

Succès : Il fonctionne très bien pour les sujets structurés comme l'Agriculture et la Politique (trouvant le bon document presque 100 % du temps). Il gère également très bien les Sciences et la Finance.
Le compromis : Parce qu'il est compressé dans un petit ordinateur portable, il n'est pas parfait pour trouver un jargon médical très spécifique ou des arguments juridiques complexes par rapport aux systèmes massifs et coûteux du cloud. Cependant, l'article soutient qu'il s'agit d'un compromis équitable : il vaut mieux avoir un système « assez bon » qui fonctionne sur votre ordinateur que de posséder un système « parfait » qui nécessite une salle de serveurs que vous n'avez pas.
Vitesse : Il faut environ 185 millisecondes (moins qu'un clin d'œil) pour trouver une réponse une fois que le système est opérationnel.

6. La promesse de l'« Air-Gapped » (Isolation physique)

La caractéristique la plus importante est que CUBO ne touche jamais à Internet.

Il télécharge le « cerveau » (les modèles d'IA) une seule fois, les stocke localement, puis fonctionne entièrement hors ligne.
Cela signifie que vos données sensibles ne quittent jamais votre appareil, respectant ainsi les lois strictes sur la confidentialité sans nécessiter d'abonnements coûteux au cloud.

Résumé

CUBO est une prouesse d'ingénierie qui fait tenir un puissant bibliothécaire IA dans un ordinateur portable standard. Il utilise un « tapis roulant » pour charger les données, un système d'étagères « chaud/froid » pour économiser l'espace, et une stratégie de « deux détectives » pour trouver des réponses. Il prouve que vous n'avez pas besoin d'un supercalculateur pour avoir un assistant IA privé et local pour vos documents ; vous avez juste besoin d'un système intelligent qui sait gérer sa mémoire avec soin.

Résumé Technique : CUBO – RAG Autonome sur Ordinateurs Portables Grand Public

1. Énoncé du Problème

Les organisations manipulant des données sensibles (ex. : juridique, médical, PME) sont confrontées à une tension critique : les solutions d'IA basées sur le cloud risquent de violer les principes de minimisation des données (RGPD Art. 5(1)(c)) et nécessitent des accords de traitement de données externes, tandis que les systèmes de génération augmentée par récupération (RAG) locaux existants exigent généralement 18 à 32 Go de RAM et une infrastructure de base de données externe (ex. : Neo4j, Weaviate). Cette barrière matérielle exclut la majorité des ordinateurs portables grand public (typiquement 16 Go de RAM) et des archives professionnelles de petite ou moyenne taille du déploiement d'une IA souveraine et isolée (air-gapped). Les outils RAG locaux actuels de pointe (LightRAG, GraphRAG, LlamaIndex) ne parviennent pas à ingérer des corpus de 10 Go sur un matériel de 16 Go sans erreurs de dépassement de mémoire (OOM - Out-Of-Memory) ou recours à des services externes.

2. Méthodologie et Architecture du Système

CUBO est une plateforme RAG orientée système, conçue spécifiquement pour un déploiement sur un seul appareil (ordinateur portable grand public) avec un plafond strict de 15,5 Go de RAM. Elle y parvient grâce à une combinaison de gestion agressive des ressources, d'indexation par paliers et d'orchestration tenant compte du matériel.

2.1 Ingestion en Flux (DeepIngestor)

Pour traiter de larges corpus (jusqu'à 10 Go) sans épuiser la RAM, CUBO rejette l'approche standard « charger puis segmenter ». À la place, elle implémente un pipeline de streaming qui :

Traite les fichiers par petits lots, en déchargeant les segments vers des fichiers Parquet temporaires sur le disque.
Maintient une surplus de mémoire (buffer) en O(1) (inférieur à 50 Mo empiriquement) quel que soit la taille du corpus.
Applique des déclenchements explicites de ramasse-miettes (garbage collection) après chaque décharge pour prévenir la fragmentation de la mémoire Python.
Utilise une fusion atomique pour consolider les fragments en un magasin de colonnes final.

2.2 Récupération Hybride par Paliers

CUBO emploie une stratégie d'indexation à deux niveaux pour équilibrer latence et empreinte mémoire :

Palier Chaud (En Mémoire) : Les vecteurs récents (jusqu'à 500k) sont stockés dans un index HNSWFlat (M=16) pour une récupération à faible latence (~1 ms). Ce palier est limité à environ 2,2 Go.
Palier Froid (Optimisé pour le Disque) : La majeure partie du corpus est stockée dans un index IVFPQ (Inverted File with Product Quantization). Les vecteurs sont compressés via une quantification à 8 bits (m=8), réduisant le stockage de 3 Ko/vecteur à 8 octets/vecteur (une compression d'environ 384x). L'index est mappé en mémoire (mmap), permettant un accès piloté par le disque avec un minimum de défauts de page.
Fusion Hybride : La récupération s'exécute en parallèle sur les deux paliers. Les résultats sont fusionnés via la Fusion de Classement Réciproque (RRF) avec un paramètre fixe $k=60$ . Cette approche évite l'ajustement par domaine requis par les combinaisons convexes pondérées, garantissant un comportement déterministe dans les environnements isolés.

2.3 Routage Sensible à la Quantification (QAR)

Pour atténuer la perte de rappel inhérente à la quantification 8 bits (empiriquement 1 à 3 % sur BEIR), CUBO applique un facteur d'ajustement de score ( $\beta = 0,2$ ) aux scores de récupération dense. Cet amortissement conservateur tient compte de la perte de quantification tout en préservant les scores de correspondance exacte du canal de récupération parcimonieux (BM25).

2.4 Cycle de Vie des Ressources et Orchestration

Chargement Paresseux, Déchargement Prompt (Lazy Load, Eager Unload) : Le modèle d'embedding (Gemma-300m) et le LLM (Llama 3.2 3B, quantifié en 4-bit) ne sont chargés que lorsque nécessaire et déchargés après des périodes d'inactivité (300s) pour libérer de la RAM.
Mode Ordinateur Portable : Le système détecte automatiquement le matériel grand public (≤16 Go de RAM) et désactive les fonctionnalités gourmandes en mémoire telles que le re-classement par encodeur croisé (cross-encoder), l'enrichissement de segments par LLM et le pré-filtrage par résumé, afin de garantir le respect du budget de 16 Go.
Concurrence : Un verrou asynchrone global combiné au mode WAL de SQLite garantit que les tâches d'ingestion lourdes ne bloquent pas le traitement des requêtes ou les vérifications de santé (health checks).

2.5 Optimisation Multilingue

Pour répondre aux défis morphologiques des langues européennes (ex. : italien, allemand), CUBO intègre un tokenizer spécialisé utilisant la racinisation (stemming) Snowball. Cela améliore le rappel pour les verbes déclinés et les noms composés sans nécessiter de modèles d'embedding multilingues lourds qui dépasseraient le budget de mémoire.

3. Contributions Clés

Premier RAG Local Déployable sur 16 Go de RAM : CUBO est le premier système démontrant une performance RAG viable sur des ordinateurs portables grand public standards (16 Go de RAM) pour des corpus de 10 Go, une capacité auparavant réservée aux stations de travail haut de gamme ou aux environnements cloud.
Mémoire d'État Stable en O(1) : Grâce à l'indexation par paliers et au mappage mémoire, CUBO maintient une empreinte mémoire active constante (~8,2 Go) lors de l'exécution des requêtes, indépendamment de la croissance du corpus de 1 Go à 10 Go.
Conception Sans Dépendance : Le système est entièrement autonome, ne nécessitant aucune base de données externe, aucune API cloud, ni matériel spécialisé, s'alignant strictement sur les principes de minimisation des données du RGPD.
Intégration d'Ingénierie : L'article présente la contribution comme une innovation système, intégrant des composants établis (FAISS, BM25, streaming) dans une architecture cohérente qui résout des contraintes spécifiques (pagination mémoire, artefacts de quantification, cycle de vie déterministe des ressources) sous des limites matérielles extrêmes.

4. Résultats Expérimentaux

Les expériences ont été menées sur des ordinateurs portables de commodité (Intel i5/i7, 16 Go de RAM) en utilisant la suite de benchmarks BEIR et des jeux de données synthétiques "UltraDomain".

Qualité de la Récupération :
- CUBO atteint un Recall@10 compétitif allant de 0,48 à 0,97 sur les domaines BEIR.
- Sur SciFact, CUBO atteint un nDCG@10 de 0,399, comblant l'écart entre le BM25 pur (0,550) et la récupération dense contrainte par les ressources.
- La performance varie selon le domaine : Rappel quasi parfait sur les domaines structurés (Agriculture : 1,00, Politique : 0,97) mais performance moindre sur le jargon spécialisé (Médical/NFCorpus : 0,17), reflétant les limites du modèle d'embedding à 300M de paramètres et des contraintes de mémoire.
Latence et Débit :
- Latence de Requête : 185 ms (p50) pour les requêtes uniques incluant le chargement du modèle ; ~30–31 ms pour les requêtes par lots avec cache chaud.
- Débit : 2,1 QPS (travailleur unique), montant à 9,2 QPS avec 4 travailleurs concurrents.
- Empreinte Mémoire : L'utilisation de pointe de la RAM lors de l'ingestion est de 15,1 Go ; l'utilisation en état stable pour les requêtes est de 8,2 Go, bien en deçà de la limite matérielle de 16 Go.
Comparaison avec les Références : Les systèmes concurrents (LightRAG, GraphRAG, LlamaIndex) ont échoué à ingérer des corpus de 10 Go sur du matériel de 16 Go sans dépendances externes ou erreurs OOM. CUBO échange une partie de la qualité de récupération de pointe (nDCG@10 de 0,317–0,399 contre 0,428–0,690 pour les systèmes plus larges) contre la déployabilité sur du matériel contraint.
Études d'Ablation : La suppression du composant parcimonieux (BM25) provoque une chute catastrophique de 10,5 % du Recall@10, validant la nécessité de la récupération hybride pour la terminologie spécifique au domaine.

5. Signification et Revendications

L'article positionne CUBO non pas comme une percée algorithmique de qualité de récupération, mais comme une solution d'ingénierie pragmatique à un fossé de déploiement critique.

Démocratisation : Il permet aux organisations à but non lucratif, aux cliniques d'aide juridique et aux PME de l'UE de déployer des systèmes d'IA souverains sans exfiltration de données ni abonnements cloud coûteux.
Alignement Réglementaire : En opérant entièrement hors ligne avec un traitement local uniquement, CUBO facilite la conformité avec l'Article 5(1)(c) du RGPD (minimisation des données) et répond aux directives de l'EDPB concernant les bases de données vectorielles tierces.
Limite de Faisabilité : Ce travail établit que les ordinateurs portables grand public de 16 Go sont suffisants pour des charges de travail RAG professionnelles si le système est conçu avec une stricte conscience de la mémoire, défiant l'hypothèse de l'industrie selon laquelle le RAG local nécessite 32 Go de RAM ou plus.

Les auteurs reconnaissent explicitement les limites : le système accepte des écarts de performance dans des domaines hautement spécialisés (ex. : jargon médical) pour garantir la faisabilité du déploiement, et repose sur un seul juge LLM local pour l'évaluation sans calibration externe. La contribution principale est la démonstration qu'un système RAG entièrement isolé et autonome est techniquement viable sur le matériel de consommation actuel.