💬 NLP

On-Device Deep Research at 4B: Exposure Bounds Faithfulness, Retrieval Bounds Coverage

Cette étude démontre que pour les agents de recherche 4B embarqués, la fidélité des citations est principalement déterminée par la quantité de texte source exposée au modèle plutôt que par la qualité de la source, tandis que la couverture des sources correctes reste strictement limitée par le rappel de la recherche.

Auteurs originaux : Vinay Kumar Chaganti

Publié 2026-07-15

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Vinay Kumar Chaganti

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un robot bibliothécaire de poche, super intelligent, nommé « 4B ». Ce robot vit sur votre ordinateur portable personnel et son travail est de lire une série de documents de recherche, de comprendre les réponses à des questions complexes et de rédiger un court rapport avec des citations (comme « selon la page 5 de ce livre »).

Mais attention : parfois, le robot ment. Il peut dire : « Le livre dit X », alors qu'en réalité le livre dit Y. Ou bien, il peut choisir le mauvais livre du tout. Les chercheurs voulaient savoir : Comment faire pour que ce petit robot dise la vérité, et quel est le coût ?

Ils ont mené une expérience massive sur un ordinateur portable disposant de 24 Go de mémoire pour trouver la recette secrète. Voici ce qu'ils ont découvert, en utilisant deux leviers simples.

Levier 1 : L'effet « Coucou ! » (Exposition)

Pensez aux lunettes de lecture du robot. Dans le premier test, le robot n'avait le droit de jeter un coup d'œil qu'aux 400 premiers caractères (environ un court paragraphe) de chaque document avant de rédiger son rapport. C'était comme essayer de juger un film entier en ne regardant que les 30 premières secondes.

Le résultat ? Le robot était hésitant. Il n'obtenait qu'environ 45 % de ses affirmations correctes lorsqu'il regardait de vrais résultats de recherche, et même pire (37 %) lorsqu'il regardait des articles parfaits, des « standards de référence ». Il devinait trop.

Ensuite, les chercheurs ont donné de meilleures lunettes au robot. Ils l'ont laissé lire 1 500 caractères (environ une page entière) de chaque document. Soudain, le cerveau du robot s'est illuminé !

Sur de vrais résultats de recherche, sa précision a bondi à 58 %.
Sur des articles parfaits, il a également atteint 58 %.

La grande surprise : Peu importait que le document soit parfait ou qu'il s'agisse d'un simple résultat de recherche aléatoire. Une fois que le robot pouvait lire assez de texte, il appuyait ses affirmations aussi bien dans les deux cas. L'article soutient que la fidélité est liée à la quantité de texte que le robot voit, et non à la perfection de la source.

Cependant, l'article prend soin de préciser que ce n'est pas une solution miracle. Même à son meilleur niveau, le robot se trompait encore sur environ 42 % de ses affirmations. C'est mieux, mais ce n'est pas encore parfait. De plus, cette astuce de « lire plus » n'a fonctionné que jusqu'à un certain point ; lire encore plus n'aidait plus beaucoup après 1 500 caractères.

Levier 2 : Le problème de la « Recherche en Bibliothèque » (Récupération)

Maintenant, imaginez que le robot lit un livre parfait, mais que ce livre n'est même pas sur l'étagère ! Les chercheurs ont découvert un second problème : la Couverture.

Même lorsque le robot lisait 1 500 caractères, si le moteur de recherche n'avait pas trouvé le bon livre dès le départ, le robot ne pouvait pas le citer. La « Couverture de Confiance » (la fréquence à laquelle le robot cite la bonne source et obtient les faits exacts) restait bloquée autour de 0,22 (soit 22 %) peu importe la quantité de texte que le robot lisait.

Pourquoi ? Parce que le moteur de recherche ne trouvait qu'environ 40 % des bons articles pour commencer. Le robot ne peut pas citer ce qu'il ne peut pas trouver. Le papier exclut explicitement l'idée que « lire plus » réglera ce problème. Si le robot ne voit jamais le bon livre, lire davantage de mauvais livres ne servira à rien.

Ce que le robot ne peut pas faire (Le mythe de la « Réparation »)

Vous pourriez penser : « Et si nous laissions le robot rédiger un brouillon, puis nous vérions son travail et corrigions les erreurs ? » Les chercheurs ont aussi testé cela. Ils ont demandé au robot d'essayer de « filtrer » (supprimer les mauvaises affirmations), de « réviser » (réécrire les mauvaises affirmations) ou de « réattribuer » (déplacer les citations).

Le résultat ? Le robot est devenu légèrement meilleur pour appuyer les affirmations qu'il faisait, mais sa capacité globale à trouver les bonnes sources ne s'est pas améliorée. En fait, essayer de réparer les choses après coup a souvent conduit le robot à citer moins de sources, ce qui a fait baisser son score global. L'article suggère que réparer un rapport après qu'il a été écrit, c'est trop tard ; le mal est fait si les bonnes sources n'ont pas été trouvées ou lues suffisamment au départ.

La « Recette » pour un meilleur robot

Alors, quelle est la conclusion pratique pour construire un robot capable de fonctionner sur votre ordinateur portable ?

D'abord, donnez-lui plus à lire. Laissez le robot voir 1 500 caractères de chaque source qu'il trouve. Cela ne coûte pas cher (cela ne coûte qu'environ 235 jetons [tokens] supplémentaires de mémoire informatique) et cela booste la véracité du robot de 45 % à 58 %.
Ensuite, réparez la recherche. Une fois que le robot lit suffisamment, la seule chose restant à corriger est le moteur de recherche. Vous devez vous assurer que le robot trouve réellement les bons livres avant qu'il ne commence à les lire.

L'essentiel

Cette étude n'a pas créé un robot parfait. Elle a découvert qu'un petit robot sur un ordinateur portable peut être étonnamment bon pour dire la vérité si on lui permet de lire suffisamment de matériel source. Mais elle a aussi prouvé qu'aucune quantité de lecture ne servira à rien si le robot cherche dans la mauvaise bibliothèque.

Les auteurs sont convaincus de la partie « lire plus » (cela a fonctionné de manière cohérente à travers différents tests et même avec un second juge indépendant). Ils sont également convaincus que « réparer plus tard » ne fonctionne pas bien. Mais ils admettent que les chiffres absolaux sont encore modestes — le robot s'améliore, mais il n'est pas encore prêt à remplacer un chercheur humain. C'est une carte montrant où regarder ensuite, et non une destination finale.

Résumé Technique : Limites d'Exposition de la Recherche Approfondie en Local à 4B

Énoncé du Problème

Les agents de recherche approfondie sont généralement évalués sur la précision des réponses à l'échelle des modèles de pointe, négligeant souvent deux contraintes critiques pour le déploiement sur des appareils personnels : la fidélité des citations et le coût matériel. Un agent déployable doit non seulement générer des rapports précis, mais aussi s'assurer que chaque affirmation citée est réellement soutenue par la source qu'elle référence (fidélité) et qu'il cite les bonnes sources (couverture). La littérature actuelle rapporte la qualité de citation comme une métrique unique, occultant la distinction entre un agent qui soutient les sources qu'il choisit de citer et un agent qui cite les bonnes sources. De plus, le coût de l'exécution de ces agents sur du matériel personnel (par exemple, un ordinateur portable de 24 Go) et les leviers de conception spécifiques qui améliorent la fidélité pour les petits modèles (en dessous de 8B) restent non mesurés.

Méthodologie

L'étude isole les variables affectant la qualité de citation en utilisant une configuration fixe et déployable :

Modèle et Matériel : Un générateur unique de 4 milliards de paramètres (Qwen3-4B-Instruct-2507) tournant sur un Apple M4 Pro avec 24 Go de RAM.
Substrat : Un corpus de 1 062 documents dérivés de 63 articles récents d'arXiv en ML et en technologie du langage. La preuve « gold » pour chaque tâche est la liste de références de l'article source lui-même.
Pipeline : L'agent planifie des requêtes, effectue une recherche hybride (BM25 + dense), et rédige un mémoire cité.
Design Expérimental : Une grille $2 \times 4$ $2 \times 4$ croisant deux facteurs :
1. Qualité de la Source : Oracle (reçoit directement les articles gold) vs Naïve (reçoit les articles récupérés).
2. Exposition : Le nombre de caractères de chaque source visibles par le générateur lors de la rédaction (400, 800, 1200, 1500).
Métriques : L'étude sépare la Fidélité des Affirmations Citées (la source citée soutient-elle l'affirmation ?) de la Couverture de Confiance (fidélité pondérée par le rappel de citation). Un juge NLI DeBERTa-v3 score l'implication, avec des résultats vérifiés par un second juge indépendant (HHEM-2.1-Open).
Panneau de Réparation : Une expérience secondaire a testé les actions de réparation post-génération (filtrage, révision, réattribution) pour voir si elles pouvaient récupérer l'ancrage perdu.

Résultats Clés

L'étude identifie deux leviers distincts qui agissent sur des résultats différents :

Limites d'Exposition de la Fidélité :
- Augmenter l'exposition de chaque source de 400 à 1500 caractères augmente significativement la fidélité.
- Sources Naïves (Récupérées) : La fidélité est passée de 0,45 à 0,58.
- Sources Oracle (Gold) : La fidélité est passée de 0,37 à 0,58.
- Convergence : À une exposition élevée (1500 caractères), la fidélité du bras naïf converge avec celle du bras oracle (différence $\approx 0,001$ ). Cela indique que la fidélité est limitée par la quantité de la source que le modèle voit, et non par le fait que la source soit le « bon » article gold.
- Coût : Cette hausse coûte environ 235 jetons de sortie supplémentaires par tâche, une fraction négligeable du budget.
Limites de Récupération de la Couverture :
- La Couverture de Confiance reste faible et stable à travers les niveaux d'exposition pour le bras naïf (stagnant autour de 0,22).
- Cela est dû au fait que le rappel de citation est déterminé à l'étape de la récupération (maintenu proche de 0,40) avant que le générateur n'écrive. Augmenter l'exposition ne peut pas corriger le fait que les sources correctes n'ont jamais été remontées.
- Le bras Oracle atteint une couverture plus élevée (jusqu'à 0,33) simplement parce qu'il contourne le goulot d'étranglement de la récupération, et non grâce à l'exposition.
Inefficacité de la Réparation Post-Génération :
- Les mécanismes de réparation (filtrage, révision) ont amélioré la fidélité en supprimant les affirmations non soutenues, mais ont simultanément réduit le rappel de citation.
- Par conséquent, la Couverture de Confiance n'a pas progressé ; elle est restée proche de 0,19–0,20, confirmant que la réparation ne peut pas récupérer l'ancrage perdu lors de la récupération ou de la génération initiale.
Robustesse :
- L'augmentation par l'exposition et la convergence des bras ont été répliquées à l'aide d'un second juge indépendant (HHEM), confirmant que les résultats ne sont pas des artefacts d'un seul modèle de scoring.

Signification et Revendications

L'article prétend fournir une « carte de l'endroit où la fiabilité doit provenir » pour les agents de recherche en local, plutôt qu'un système prêt pour un déploiement immédiat. Ses principales contributions sont :

Découplage des Métriques : Il démontre que rapporter un score de citation unique est trompeur. Une haute fidélité avec un faible rappel indique un agent citant avec assurance les mauvaises sources. L'étude préconise de rapporter le triple : fidélité, rappel et couverture de confiance.
Le Levier d'Exposition : Pour les petits modèles (4B), le principal goulot d'étranglement pour la fidélité est l'exposition d'entrée, et non la capacité du modèle. Un modèle 4B fixe peut soutenir des affirmations sur des sources récupérées aussi bien que sur des sources gold si on lui donne un contexte suffisant (1500 caractères).
Le Levier de Récupération : La couverture est strictement liée à l'étape de récupération. Aucune quantité de réglage de la génération ou d'exposition ne peut compenser un rappel de récupération manqué.
Recette Pratique : L'étude propose un ordre de construction spécifique pour les agents déployables :
1. D'abord : Augmenter l'exposition par source (peu coûteux, efficace pour la fidélité).
2. Ensuite : Améliorer le rappel de récupération (le seul levier restant pour la couverture de confiance).
Modestie : Les auteurs déclarent explicitement que les niveaux de performance absolue sont modestes (fidélité ~0,58, couverture ~0,22–0,33). L'agent 4B n'est pas encore un « citeur fiable », mais l'étude clarifie que le chemin vers la fiabilité passe par l'exposition et la récupération, et non par le simple passage à l'échelle de la taille du modèle ou l'ajout de boucles de réparation.

L'article conclut que pour un agent 4B sur un ordinateur portable, la qualité de citation n'est pas un problème monolithique mais un problème divisé : l'exposition résout le problème du « soutien », tandis que la récupération résout le problème de la « justesse ».