HIRA: A Human-in-the-Loop Retrieval-Augmented Cascade for Document Classification in Regulated Industries
HIRA est une cascade de récupération augmentée sur site et sans entraînement pour la classification de documents réglementés qui combine la récupération multimodale avec un vérificateur LLM hébergé localement et un retour humain dans la boucle afin d'atteindre une grande précision tout en minimisant la revue humaine et en éliminant la nécessité d'un réentraînement coûteux du modèle.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Dans les mondes à enjeux élevés de la banque, de la santé et du droit, les documents sont la principale monnaie de la confiance. Chaque demande de prêt, dossier médical et contrat juridique doit être classé dans la bonne catégorie pour garantir la conformité, la sécurité et l'efficacité. Pendant des décennies, l'approche standard de ce problème de tri a consisté à enseigner à un ordinateur en lui montrant des milliers d'exemples étiquetés, un processus appelé entraînement. Cependant, cette méthode se heurte à un mur dans les secteurs réglementés. Les règles du jeu sont strictes : les documents sensibles ne peuvent pas quitter l'environnement sécurisé où ils sont créés, ce qui signifie qu'ils ne peuvent pas être envoyés vers le cloud pour être traités par une intelligence artificielle puissante et distante. De plus, les catégories spécifiques nécessaires aux fichiers internes d'une banque sont souvent uniques et changent fréquemment, ce qui rend impossible la collecte des ensembles de données massifs et préexistants requis pour entraîner un nouveau modèle à partir de zéro. Lorsqu'une banque tente de mettre à jour son système de tri, le processus est si lent et coûteux qu'il devient souvent impraticable, laissant les institutions coincées avec des outils obsolètes ou forcées de compter sur des travailleurs humains coûteux pour lire chaque fichier.
Les chercheurs Shangxuan Tian, Yanhui Chen et Carlos Queiroz ont proposé une autre voie, un système appelé HIRA, conçu spécifiquement pour naviguer dans ces contraintes serrées. Au lieu d'essayer de réentraîner un modèle complexe chaque fois qu'un nouveau type de document apparaît ou qu'une règle change, HIRA agit comme un bibliothécaire hautement organisé qui apprend en faisant. Le système fonctionne en deux étapes. Premièrement, il scanne un nouveau document et recherche immédiatement dans sa mémoire interne des exemples similaires qu'il a déjà vus. Il examine le texte, la mise en page et même la forme visuelle de la page pour trouver les meilleures correspondances. Si le système trouve une correspondance claire, il trie le document instantanément. Si le document est déroutant ou ressemble trop à plusieurs catégories différentes, le système ne devine pas ; au lieu de cela, il transmet le fichier à une seconde étape, plus minutieuse. Cette étape utilise une intelligence artificielle puissante, hébergée localement, pour examiner le document aux côtés des meilleurs exemples que le système a trouvés, en lui demandant de prendre une décision finale. Si même cette seconde étape est incertaine, le document est envoyé à un expert humain pour correction.
La véritable innovation réside dans ce qui se passe après cette correction humaine. Dans les systèmes traditionnels, un humain corrigeant une erreur n'est qu'une correction ponctuelle. Dans HIRA, chaque correction devient une leçon permanente. Lorsqu'un humain corrige un document, le système enregistre cet exemple dans sa mémoire avec un poids spécial, le rendant plus susceptible d'être reconnu la prochaine fois qu'un document similaire arrive. Il met également à jour une carte de confusion, apprenant exactement quelles catégories ont tendance à se mélanger et quels mots ou caractéristiques visuelles spécifiques les distinguent. Cela permet au système de s'améliorer en précision au fil du temps sans jamais avoir besoin de réentraîner son logiciel de base ou de mettre à jour ses poids mathématiques sous-jacents. Le système devient plus intelligent simplement en se souvenant de ses erreurs et des détails spécifiques qui les ont résolues.
Les chercheurs ont testé cette approche sur deux ensembles de données très différents. Le premier était un benchmark public de 2 737 documents allant de lettres à des rapports scientifiques. Sur cet ensemble, le système a commencé avec un petit nombre d'exemples et a traité un flux de nouveaux documents. En demandant à des humains de corriger seulement environ un quart des fichiers entrants, la précision du système a augmenté pour égaler la performance d'un « oracle » hypothétique qui aurait vu chaque document avec son étiquette correcte dès le début. Ce fut un bond significatif, surpassant largement un système d'intelligence artificielle standard qui tentait de deviner sans aide, tout en utilisant beaucoup moins de ressources informatiques. Le système a réussi à envoyer seulement environ 40 % des documents à la seconde étape d'IA, plus coûteuse, et encore moins à des réviseurs humains, prouvant qu'il pouvait filtrer les cas faciles efficacement.
Le second test était un défi du monde réel impliquant une collection privée de 30 233 documents de financement du commerce provenant d'une grande banque. Cet environnement était beaucoup plus difficile, avec 80 catégories différentes, dont beaucoup étaient presque identiques les unes aux autres, telles que différents types de factures ou de certificats. Les données étaient fortement déséquilibrées, certaines catégories possédant des milliers d'exemples et d'autres très peu. Malgré ces difficultés, le système a traité l'ensemble du flux de documents et a demandé à des travailleurs humains d'en corriger seulement 1 945, soit seulement 6,4 % du total. Ce faible effort humain a suffi pour faire passer la précision du système d'un niveau modeste à un niveau hautement fiable. Les chercheurs ont constaté qu'à mesure que le système apprenait de ces corrections, le nombre de documents nécessitant une révision humaine chutait brusquement, se stabilisant à un taux bas à mesure que la mémoire du système s'enrichissait.
Ce travail démontre que, dans les industries réglementées, le chemin vers une haute précision ne nécessite pas nécessairement des ensembles de données massifs ou un réentraînement constant du logiciel. En combinant un mécanisme de recherche intelligent avec une intelligence artificielle locale et une boucle de rétroaction qui apprend des corrections humaines, il est possible de construire un système qui s'adapte de lui-même aux nouveaux documents et aux changements de règles. Le système respecte l'exigence stricte que les données ne quittent jamais l'environnement sécurisé, tout en atteignant des niveaux de performance qui rivalisent avec des systèmes entraînés sur de vastes quantités de données. Les résultats suggèrent que pour les industries où la confidentialité des données et la conformité sont primordiales, un système qui apprend de manière sélective et se souvient de ses corrections est une alternative pratique et puissante aux méthodes traditionnelles d'entraînement de l'intelligence artificielle.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.