🤖 AI

Evergreen: Efficient Claim Verification for Semantic Aggregates

Evergreen est un système efficace qui vérifie les affirmations potentiellement hallucinées dans les agrégats sémantiques en les compilant en requêtes déclaratives exécutées sur le même moteur, en utilisant des optimisations sur mesure et une provenance basée sur les semi-anneaux pour atteindre une haute précision avec des coûts et une latence considérablement réduits par rapport aux références existantes.

Auteurs originaux : Alexander W. Lee, Benjamin Han, Shayak Sen, Sam Yeom, Ugur Cetintemel, Anupam Datta

Publié 2026-04-30

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Alexander W. Lee, Benjamin Han, Shayak Sen, Sam Yeom, Ugur Cetintemel, Anupam Datta

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un assistant très intelligent, mais légèrement trop confiant (une IA), qui lit des milliers d'avis de restaurants et vous rédige un résumé. L'assistant pourrait dire : « Tout le monde a adoré la salade de poulet ! » ou « Personne n'a mentionné les options végétaliennes. »

Le problème ? L'assistant pourrait halluciner. Il pourrait simplement avoir deviné, ou il pourrait avoir manqué quelques avis disant le contraire. Vérifier si l'assistant dit la vérité est difficile car :

Il y a trop d'avis pour les lire tous en une fois (ils ne tiennent pas dans la « mémoire » de l'IA).
L'IA est mauvaise en comptage et en logique (par exemple : « La majorité des gens l'ont-ils aimé ? »).
Lire chaque avis un par un pour vérifier les calculs est incroyablement lent et coûteux.

Voici « Evergreen ».

Pensez à Evergreen comme à un système de vérification des faits ultra-efficace qui traite le résumé de l'IA comme un problème de mathématiques plutôt que comme une conversation. Au lieu de demander à l'IA de « réfléchir intensément » à l'ensemble des données, Evergreen décompose le résumé en minuscules questions logiques et les résout en utilisant un mélange de raccourcis intelligents et d'une approche par « liste de contrôle ».

Voici comment cela fonctionne, en utilisant quelques analogies du quotidien :

1. La « Liste de contrôle du détective » (Transformer les affirmations en requêtes)

Lorsque l'IA dit : « La plupart des gens ont adoré le service », Evergreen ne demande pas simplement à l'IA : « Est-ce vrai ? ». À la place, il traduit cette phrase en une requête logique stricte, comme une liste de contrôle d'un détective :

Étape 1 : Trouver tous les avis mentionnant « service ».
Étape 2 : Compter combien sont positifs.
Étape 3 : Ce nombre est-il supérieur à 50 % ?

En transformant la phrase vague en une série d'étapes rigides, Evergreen peut utiliser un moteur de base de données (excellent pour compter et trier) pour effectuer le gros du travail, en n'appelant l'IA que lorsque cela est absolument nécessaire pour comprendre le sens d'un avis spécifique.

2. Les « Raccourcis intelligents » (Optimisations)

L'article souligne qu'Evergreen est rapide et peu coûteux car il utilise trois « astuces » principales pour éviter de faire un travail inutile :

Arrêt anticipé (La règle « Arrêtez-vous dès la première indice ») :
Si l'affirmation est « Au moins une personne s'est plainte », Evergreen parcourt les avis. Dès qu'il trouve une plainte, il s'arrête immédiatement. Il n'a pas besoin de lire les 1 000 autres avis pour savoir que l'affirmation est vraie. Inversement, si l'affirmation est « Personne ne s'est plaint », il continue de parcourir jusqu'à trouver une seule plainte pour prouver que l'affirmation est fausse, ou jusqu'à être statistiquement certain que personne ne s'est plaint. Cela économise d'énormes quantités de temps en évitant de lire tout le livre si la réponse se trouve à la page 10.
Tri par pertinence (L'astuce « Fichiers pertinents en premier ») :
Imaginez que vous cherchez une aiguille spécifique dans une botte de foin. Au lieu de fouiller au hasard, Evergreen utilise un aimant pour attirer les aiguilles les plus probables au sommet de la pile en premier. Il trie les avis afin que ceux ayant le plus de chances de contenir la réponse (par exemple, les avis contenant le mot « plainte ») soient vérifiés en premier. Cela rend l'astuce de l'« arrêt anticipé » encore plus rapide.
Séquences de confiance (Le « Jeu de devinettes statistiques ») :
Parfois, vous n'avez pas besoin de vérifier tous les avis pour connaître la réponse. Evergreen utilise une méthode statistique appelée « séquences de confiance ». Imaginez que vous goûtez une soupe pour voir si elle est assez salée. Vous n'avez pas besoin de boire tout le bol ; vous avez juste besoin de goûter assez de cuillerées pour être sûr à 99 %. Evergreen goûte quelques avis, vérifie les calculs, et si le résultat est clair, il s'arrête. Si les calculs sont encore flous, il prend quelques « goûts » supplémentaires. Cela évite de gaspiller de l'argent en lisant des avis qui ne changent pas le verdict final.

3. Le « Reçu » (Citations et provenance)

Lorsque Evergreen dit « Vrai » ou « Faux », il ne donne pas juste une réponse oui/non. Il fournit un reçu.

Si l'affirmation est vraie, il vous montre les exactes avis qui l'ont prouvée (par exemple : « Voici les 3 avis où les gens ont dit qu'ils adoraient la salade »).
Si l'affirmation est fausse, il vous montre les exactes avis qui l'ont réfutée.

C'est comme un professeur de mathématiques qui montre ses calculs. Il utilise un système spécial de « provenance » (une façon élégante de tracer la source de chaque fait) pour s'assurer que l'explication est minimale et précise. Il ne vous montre pas 1 000 avis ; il vous montre le nombre minimum nécessaire pour prouver le point.

4. Les résultats : Plus solide, plus rapide, moins cher

L'article a testé Evergreen sur de réelles données d'avis de restaurants. Voici ce qu'ils ont découvert :

Précision : Il a obtenu un score parfait (F1 = 1,00) en utilisant un modèle d'IA puissant, ce qui signifie qu'il n'a jamais fait d'erreur.
Coût et Vitesse : Il était 3 à 4 fois plus rapide et 3 à 4 fois moins cher que de simplement demander à l'IA de tout lire sans ces raccourcis.
La surprise de l'« IA faible » : Même en utilisant un modèle d'IA beaucoup plus faible et moins cher, Evergreen a mieux performé qu'un modèle d'IA « puissant » essayant de faire le travail seul. En laissant le moteur de base de données gérer la logique et le comptage, l'IA n'avait à faire que la partie facile (lire le texte), ce qu'une IA même « bête » pouvait bien faire.

Résumé

Evergreen est un système qui empêche l'IA d'inventer des faits sur de grands ensembles de données. Il le fait en :

Transformant les résumés vagues de l'IA en questions logiques strictes.
Utilisant des raccourcis intelligents pour arrêter la lecture dès que la réponse est trouvée.
Fournissant un « reçu » indiquant exactement quels points de données ont prouvé la réponse.

C'est comme embaucher une équipe d'experts-comptables (la base de données) pour faire les calculs et un seul stagiaire efficace (l'IA) pour lire les reçus, plutôt que de demander à un stagiaire épuisé de faire tous les calculs et la lecture seul.

1. Énoncé du problème

Avec l'émergence de moteurs de traitement de requêtes sémantiques (par exemple, Snowflake Cortex AISQL), l'agrégation sémantique est devenue un opérateur primitif. Cela permet aux modèles de langage de grande taille (LLM) de réduire une relation de tuples en un résumé ou un agrégat en langage naturel. Cependant, ces agrégats générés par les LLM contiennent souvent des affirmations hallucinées (par exemple, « la majorité des avis sont positifs » alors qu'ils ne le sont pas) qui ne sont pas ancrées dans les données sous-jacentes.

La vérification de ces affirmations est difficile en raison de quatre facteurs principaux :

Échelle : Les relations dépassent souvent les fenêtres de contexte des LLM (des milliers d'avis équivalent à des centaines de milliers de tokens).
Complexité : Les affirmations impliquent des quantificateurs (tous, certains, majorité), des regroupements et des comparaisons inter-groupes, nécessitant un mélange de raisonnement sémantique (compréhension du texte) et de raisonnement symbolique (comptage/comparaison).
Coût : La vérification par force brute nécessite d'invoquer un LLM pour chaque tuple, ce qui est prohibitivement coûteux et lent.
Explicabilité : Les utilisateurs exigent des citations (preuves) pour faire confiance au verdict, et non pas seulement un binaire « vrai/faux ».

Les approches existantes échouent à traiter cela de manière holistique : les méthodes LLM-as-a-judge échouent sur de grands contextes ; la Génération Augmentée par Récupération (RAG) peine avec les affirmations quantifiées sur des tuples indépendants ; et les LLM basés sur des programmes délèguent l'optimisation au LLM, entraînant des performances sous-optimales.

2. Méthodologie : Le système Evergreen

Evergreen reformule la vérification des affirmations comme une tâche de traitement de requêtes sémantiques. Au lieu de demander à un LLM de « vérifier » une affirmation, Evergreen compile l'affirmation en une requête déclarative de vérification sémantique exécutée par un moteur de requêtes.

A. Décomposition et compilation des affirmations

Décomposition : Un LLM décompose l'agrégat en langage naturel en affirmations atomiques et résout les références vagues (par exemple, les pronoms) en utilisant le contexte original.
Mappage logique : Les affirmations sont mappées vers des structures logiques :
- Existentiel/Universel : $\exists t, \forall t$
- Cardinal/Proportionnel : $\exists \ge k, \exists \ge \rho$
- Ordinal/Emboîté : Classement de groupes ou quantificateurs emboîtés (par exemple, « Tous les lieux ont >2 plaintes »).
Génération de requêtes : Les affirmations sont compilées en une API de style DataFrame utilisant des opérateurs relationnels standards (filter, map, aggregate) et des opérateurs sémantiques (appels de LLM basés sur des prompts).
- filter(prompt): Filtrage sémantique.
- map(prompt): Extraction d'attributs sémantiques.
- aggregate: Correspond aux quantificateurs (par exemple, bool_or $\to$ $\exists$ , count_if $\to$ cardinalité).

B. Optimisations conscientes de la vérification

Evergreen introduit des optimisations spécifiques pour minimiser les appels LLM tout en maintenant la correction :

Arrêt anticipé : Le moteur de requêtes utilise un modèle d'itérateur.
- Pour $\exists$ (par exemple, « certains »), il s'arrête dès qu'un témoin est trouvé.
- Pour $\forall$ (par exemple, « tous »), il s'arrête dès qu'un contre-exemple est trouvé.
- Pour les affirmations cardinales/proportionnelles, il pousse la logique de comparaison vers le bas pour s'arrêter dès que le seuil est mathématiquement déterminé, indépendamment des tuples restants.
Tri par pertinence : Pour rendre l'arrêt anticipé efficace, les tuples sont pré-triés par pertinence. Un LLM génère une requête de recherche basée sur la logique de l'affirmation ; les tuples sont classés par similarité d'embedding et correspondance de mots-clés afin que les « témoins » apparaissent tôt dans le flux.
Estimation avec séquences de confiance (CS) : Pour les cas où l'arrêt anticipé est impossible (par exemple, vérifier qu'une affirmation universelle est vraie), Evergreen utilise des Séquences de Confiance Valides à Tout Moment. Contrairement aux intervalles de confiance classiques, les CS permettent une surveillance continue sans gonfler les taux d'erreur. Le système arrête l'échantillonnage dès que l'intervalle de confiance prouve que l'affirmation est vraie ou fausse avec une forte probabilité.
Optimisations à usage général :
- Fusion d'opérateurs : Combine plusieurs opérateurs sémantiques (par exemple, filter + map) en un seul appel LLM par tuple.
- Filtrage par similarité : Un pré-filtre léger utilisant des embeddings pour rejeter les tuples manifestement non pertinents avant d'invoquer le LLM.
- Mise en cache des prompts : Réutilise les réponses du LLM pour des prompts identiques à travers différentes affirmations.

C. Citations via la provenance des demi-anneaux

Pour fournir des explications, Evergreen traite les citations comme une provenance de données. Il utilise la provenance des demi-anneaux pour la logique du premier ordre :

Chaque tuple est annoté avec des tokens indiquant s'il satisfait la formule de l'affirmation.
Le système dérive un ensemble minimal de tokens (monômes) qui justifie le résultat.
Si une affirmation est vraie, il renvoie l'ensemble minimal de témoins. Si elle est fausse, il renvoie l'ensemble minimal de contre-exemples. Cela garantit que les explications sont concises et mathématiquement fondées.

3. Contributions clés

Formalisation logique : Identification des types d'affirmations courants dans les agrégats sémantiques et leur mappage vers des structures logiques bien définies (existentiel, universel, cardinal, proportionnel, ordinal, emboîté).
Compilation déclarative : Démonstration de la manière de compiler des affirmations en langage naturel en requêtes déclaratives de vérification sémantique, déplaçant la charge d'optimisation du LLM vers le moteur de requêtes.
Optimisations novatrices : Introduction de techniques spécifiques à la vérification (Arrêt anticipé, Tri par pertinence, Estimation par séquence de confiance) qui réduisent drastiquement le coût et la latence.
Provenance formelle : Application de la provenance des demi-anneaux pour formaliser les citations comme des explications minimales des résultats de vérification.
Évaluation complète : Construction d'une référence de 16 affirmations diverses sur des jeux de données réels d'avis de restaurants pour évaluer le système.

4. Résultats expérimentaux

Le système a été évalué sur trois jeux de données Yelp (1,6k–1,8k tuples chacun) par rapport à des bases de référence : LLM-as-a-judge (base_rm), Agent augmenté par récupération (rag_agent), et un Evergreen non optimisé (evg_unopt).

Qualité vs Coût :
- LLM puissants : Evergreen avec un LLM puissant (Opus) a atteint F1 = 1,00 (vérification parfaite) tout en réduisant le coût de 3,2 $\times$ et la latence de 4,0 $\times$ par rapport à la version non optimisée.
- LLM faibles : Evergreen utilisant un LLM faible (Llama 8B) a surpassé une base de référence LLM-as-a-judge puissante (Opus) en score F1 (0,89 contre 0,82) à 48 $\times$ moins de coût et 2,3 $\times$ moins de latence.
- Vs Agent RAG : Evergreen a égalé ou dépassé la qualité de l'agent RAG avec un LLM faible à 63 $\times$ moins de coût et 4,2 $\times$ moins de latence.
Étude d'ablation :
- L'Arrêt anticipé était l'optimisation la plus critique, réduisant le coût/la latence de 6,7 $\times$ .
- L'Estimation (CS) et la Mise en cache des prompts ont fourni des économies de 2 $\times$ –2,7 $\times$ .
- La désactivation des optimisations a généralement dégradé les performances de manière significative, prouvant la nécessité de l'approche neuro-symbolique.
Robustesse : Même avec des modèles plus faibles, Evergreen a maintenu une haute précision de provenance (0,84–0,99), garantissant que les citations fournies étaient fiables.

5. Signification

Evergreen représente un changement significatif dans la façon dont les systèmes de données sémantiques gèrent la fiabilité.

Synergie neuro-symbolique : Il combine efficacement la compréhension sémantique des LLM avec l'optimisation rigoureuse et le raisonnement logique des moteurs de requêtes de bases de données.
Évolutivité : Il résout les goulots d'étranglement de la « fenêtre de contexte » et du « coût » qui empêchent actuellement l'utilisation fiable des LLM dans l'analyse de données de production.
Fiabilité : En fournissant des citations minimales et mathématiquement fondées, il va au-delà des sorties « boîte noire » des LLM, rendant les agrégats sémantiques auditable et dignes de confiance pour une utilisation en entreprise.
Direction future : Il ouvre la voie à des « Contraintes d'intégrité sémantique », où les systèmes de bases de données peuvent automatiquement faire respecter la correction des insights générés par les LLM.

En résumé, Evergreen démontre que, en traitant la vérification des affirmations comme un problème d'optimisation de requêtes, les systèmes peuvent atteindre une qualité de vérification parfaite ou quasi parfaite à une fraction du coût et de la latence des approches actuelles basées sur les LLM les plus avancées.