🤖 AI

Evergreen: Efficient Claim Verification for Semantic Aggregates

Evergreen ist ein effizientes System, das potenziell halluzinierte Behauptungen in semantischen Aggregaten verifiziert, indem es sie in deklariative Abfragen kompiliert, die auf derselben Engine ausgeführt werden, und dabei maßgeschneiderte Optimierungen sowie provenancebasierte Semiringe nutzt, um im Vergleich zu bestehenden Baselines eine hohe Genauigkeit bei deutlich reduzierten Kosten und Latenzzeiten zu erreichen.

Ursprüngliche Autoren: Alexander W. Lee, Benjamin Han, Shayak Sen, Sam Yeom, Ugur Cetintemel, Anupam Datta

Veröffentlicht 2026-04-30

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Alexander W. Lee, Benjamin Han, Shayak Sen, Sam Yeom, Ugur Cetintemel, Anupam Datta

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr klugen, aber leicht übermütigen Assistenten (eine KI), der Tausende von Restaurantbewertungen liest und Ihnen eine Zusammenfassung schreibt. Der Assistent könnte sagen: „Jeder hat den Hühnersalat geliebt!" oder „Niemand hat vegane Optionen erwähnt."

Das Problem? Der Assistent könnte halluzinieren. Er könnte einfach geraten haben oder einige Bewertungen übersehen haben, die das Gegenteil sagten. Zu überprüfen, ob der Assistent die Wahrheit sagt, ist schwierig, weil:

Es zu viele Bewertungen gibt, um sie alle auf einmal zu lesen (sie passen nicht in das „Gedächtnis" der KI).
Die KI schlecht im Zählen und in der Logik ist (z. B. „Hat es die meisten Menschen gefallen?").
Das Lesen jeder einzelnen Bewertung zur Überprüfung der Mathematik unglaublich langsam und teuer ist.

Hier kommt „Evergreen" ins Spiel.

Stellen Sie sich Evergreen als ein hoch effizientes Faktenprüfsystem vor, das die Zusammenfassung der KI eher wie ein mathematisches Problem behandelt denn wie ein Gespräch. Anstatt die KI zu bitten, über den gesamten Datensatz „nachzudenken", zerlegt Evergreen die Zusammenfassung in winzige, logische Fragen und löst sie mit einer Mischung aus intelligenten Abkürzungen und einem „Checklisten"-Ansatz.

So funktioniert es, unter Verwendung alltäglicher Analogien:

1. Die „Checkliste des Detektivs" (Behauptungen in Abfragen umwandeln)

Wenn die KI sagt: „Die meisten Menschen mochten den Service", fragt Evergreen die KI nicht einfach: „Stimmt das?" Stattdessen übersetzt es diesen Satz in eine strenge logische Abfrage, wie eine Detektiv-Checkliste:

Schritt 1: Finde alle Bewertungen, die „Service" erwähnen.
Schritt 2: Zähle, wie viele davon positiv sind.
Schritt 3: Ist diese Zahl größer als 50 %?

Indem Evergreen den vagen Satz in einen starren Satz von Schritten verwandelt, kann es eine Datenbank-Engine (die hervorragend im Zählen und Sortieren ist) für die schwere Arbeit einsetzen und ruft die KI nur dann auf, wenn absolut notwendig, um die Bedeutung einer bestimmten Bewertung zu verstehen.

2. Die „Intelligenten Abkürzungen" (Optimierungen)

Die Arbeit hebt hervor, dass Evergreen schnell und kostengünstig ist, weil es drei Haupttricks anwendet, um unnötige Arbeit zu vermeiden:

Frühes Stoppen (Die „Stoppe beim ersten Hinweis"-Regel):
Wenn die Behauptung lautet: „Mindestens eine Person hat sich beschwert", scannt Evergreen die Bewertungen. Sobald es eine Beschwerde findet, stoppt es sofort. Es muss nicht die anderen 1.000 Bewertungen lesen, um zu wissen, dass die Behauptung wahr ist. Umgekehrt scannt es weiter, wenn die Behauptung lautet: „Niemand hat sich beschwert", bis es eine einzelne Beschwerde findet, um die Behauptung zu widerlegen, oder bis es statistisch sicher ist, dass niemand dies getan hat. Es spart enorme Mengen an Zeit, indem es nicht das ganze Buch liest, wenn die Antwort bereits auf Seite 10 gefunden wurde.
Relevanzsortierung (Der „Relevante Dateien zuerst"-Trick):
Stellen Sie sich vor, Sie suchen eine spezifische Nadel im Heuhaufen. Anstatt zufällig zu graben, verwendet Evergreen einen Magneten, um die wahrscheinlichsten Nadeln zuerst auf die Spitze des Haufens zu ziehen. Es sortiert die Bewertungen so, dass diejenigen, die am ehesten die Antwort enthalten (z. B. Bewertungen mit dem Wort „Beschwerde"), zuerst geprüft werden. Dies lässt den Trick des „Frühen Stoppens" noch schneller funktionieren.
Konfidenzsequenzen (Das „Statistische Ratespiel"):
Manchmal müssen Sie nicht jede Bewertung prüfen, um die Antwort zu kennen. Evergreen verwendet eine statistische Methode namens „Konfidenzsequenzen". Stellen Sie sich vor, Sie probieren eine Suppe, um zu sehen, ob sie salzig genug ist. Sie müssen nicht die ganze Schüssel austrinken; Sie müssen nur genug Löffel probieren, um zu 99 % sicher zu sein. Evergreen probiert einige Bewertungen, prüft die Mathematik und stoppt, wenn das Ergebnis klar ist. Wenn die Mathematik noch unscharf ist, nimmt es ein paar weitere „Proben". Dies vermeidet das Verschwendet von Geld für das Lesen von Bewertungen, die das endgültige Urteil nicht ändern.

3. Der „Quittung" (Zitate und Herkunft)

Wenn Evergreen „Wahr" oder „Falsch" sagt, gibt es nicht nur eine Ja/Nein-Antwort. Es liefert eine Quittung.

Wenn die Behauptung wahr ist, zeigt es Ihnen die exakten Bewertungen, die dies bewiesen haben (z. B. „Hier sind die 3 Bewertungen, in denen Leute sagten, sie hätten den Salat geliebt").
Wenn die Behauptung falsch ist, zeigt es Ihnen die exakten Bewertungen, die sie widerlegt haben.

Das ist wie ein Mathematiklehrer, der seine Rechnung vorführt. Es verwendet ein spezielles „Herkunftssystem" (eine ausgefallene Art, die Quelle jedes Faktums zu verfolgen), um sicherzustellen, dass die Erklärung minimal und genau ist. Es zeigt Ihnen nicht 1.000 Bewertungen; es zeigt Ihnen die minimale Anzahl, die benötigt wird, um den Punkt zu beweisen.

4. Die Ergebnisse: Stärker, Schneller, Günstiger

Die Arbeit testete Evergreen an echten Daten von Restaurantbewertungen. Hier ist, was sie fanden:

Genauigkeit: Es erreichte eine perfekte Punktzahl (F1 = 1,00) bei Verwendung eines starken KI-Modells, was bedeutet, dass es niemals einen Fehler machte.
Kosten & Geschwindigkeit: Es war 3 bis 4 Mal schneller und 3 bis 4 Mal günstiger als nur die KI zu bitten, alles ohne diese Abkürzungen zu lesen.
Die „Schwache KI"-Überraschung: Selbst bei Verwendung eines viel schwächeren, günstigeren KI-Modells schnitt Evergreen besser ab als ein „starkes" KI-Modell, das versuchte, die Aufgabe allein zu erledigen. Indem die Datenbank-Engine die Logik und das Zählen übernahm, musste die KI nur den einfachen Teil erledigen (das Lesen des Textes), was sogar eine „dumme" KI gut bewältigen konnte.

Zusammenfassung

Evergreen ist ein System, das verhindert, dass KI Fakten über große Datensätze erfindet. Es tut dies, indem es:

Vage KI-Zusammenfassungen in strenge logische Fragen verwandelt.
Intelligente Abkürzungen verwendet, um das Lesen zu stoppen, sobald die Antwort gefunden ist.
Eine „Quittung" liefert, welche Datenpunkte genau die Antwort bewiesen haben.

Es ist, als würde man ein Team von Buchhaltern (die Datenbank) engagieren, um die Mathematik zu erledigen, und einen einzigen, effizienten Praktikanten (die KI), um die Quittungen zu lesen, anstatt einen müden Praktikanten zu bitten, die gesamte Mathematik und das Lesen allein zu erledigen.

1. Problemstellung

Mit dem Aufkommen von Engines zur semantischen Abfrageverarbeitung (z. B. Snowflake Cortex AISQL) hat sich die semantische Aggregation zu einem primitiven Operator entwickelt. Dies ermöglicht es Large Language Models (LLMs), eine Relation von Tupeln in eine natürliche Sprachzusammenfassung oder ein Aggregat zu überführen. Allerdings enthalten diese von LLMs generierten Aggregate oft halluzinierte Behauptungen (z. B. „die Mehrheit der Bewertungen ist positiv", obwohl dies nicht der Fall ist), die nicht in den zugrunde liegenden Daten verankert sind.

Die Verifikation dieser Behauptungen ist aufgrund von vier Hauptfaktoren herausfordernd:

Skalierbarkeit: Relationen überschreiten häufig die Kontextfenster von LLMs (tausende Bewertungen = hunderttausende Token).
Komplexität: Behauptungen beinhalten Quantoren (alle, einige, Mehrheit), Gruppierungen und gruppenübergreifende Vergleiche, was eine Mischung aus semantischer Reasoning (Textverständnis) und symbolischem Reasoning (Zählen/Vergleichen) erfordert.
Kosten: Eine Brute-force-Verifikation erfordert den Aufruf eines LLM für jedes Tupel, was prohibitiv teuer und langsam ist.
Erklärbarkeit: Benutzer benötigen Zitate (Beweise), um dem Urteil zu vertrauen, nicht nur ein binäres „wahr/falsch".

Bestehende Ansätze versagen, dies ganzheitlich zu adressieren: LLM-as-a-judge-Methoden scheitern bei großen Kontexten; Retrieval-Augmented Generation (RAG) hat Schwierigkeiten mit quantifizierten Behauptungen über unabhängige Tupel; und Program-basierte LLMs verlagern die Optimierung auf das LLM, was zu suboptimaler Leistung führt.

2. Methodik: Das Evergreen-System

Evergreen fasst die Claims-Verifikation als Aufgabe der semantischen Abfrageverarbeitung neu. Anstatt ein LLM zu bitten, eine Behauptung zu „prüfen", kompiliert Evergreen die Behauptung in eine deklarative semantische Verifikationsabfrage, die von einer Abfrage-Engine ausgeführt wird.

A. Claims-Zerlegung und Kompilierung

Zerlegung: Ein LLM zerlegt das natürliche Sprachaggregat in atomare Behauptungen und löst vage Referenzen (z. B. Pronomen) unter Verwendung des ursprünglichen Kontexts auf.
Logische Abbildung: Behauptungen werden auf logische Strukturen abgebildet:
- Existenziell/Universal: $\exists t, \forall t$
- Kardinal/Proportional: $\exists \ge k, \exists \ge \rho$
- Ordinal/Geschachtelt: Rangfolge von Gruppen oder geschachtelte Quantoren (z. B. „Alle Standorte haben >2 Beschwerden").
Abfragegenerierung: Behauptungen werden in eine DataFrame-ähnliche API kompiliert, die Standard-relationale Operatoren (filter, map, aggregate) und semantische Operatoren (prompt-basierte LLM-Aufrufe) verwendet.
- filter(prompt): Semantische Filterung.
- map(prompt): Semantische Attributextraktion.
- aggregate: Abbildung auf Quantoren (z. B. bool_or $\to$ $\exists$ , count_if $\to$ Kardinalität).

B. Verifikationsbewusste Optimierungen

Evergreen führt spezifische Optimierungen ein, um LLM-Aufrufe zu minimieren und gleichzeitig die Korrektheit zu gewährleisten:

Frühes Stoppen (Early Stopping): Die Abfrage-Engine verwendet ein Iterator-Modell.
- Für $\exists$ (z. B. „einige") wird gestoppt, sobald ein Zeuge gefunden ist.
- Für $\forall$ (z. B. „alle") wird gestoppt, sobald ein Gegenbeispiel gefunden ist.
- Für kardinale/proportionale Behauptungen wird die Vergleichslogik nach unten geschoben, um zu stoppen, sobald die Schwelle mathematisch unabhängig von den verbleibenden Tupeln bestimmt ist.
Relevanzsortierung: Um ein frühes Stoppen effektiv zu machen, werden Tupel vorab nach Relevanz sortiert. Ein LLM generiert eine Suchanfrage basierend auf der Logik der Behauptung; Tupel werden nach Embedding-Ähnlichkeit und Keyword-Matching gerankt, sodass „Zeugen" früh im Stream erscheinen.
Schätzung mit Konfidenzsequenzen (CS): Für Fälle, in denen ein frühes Stoppen unmöglich ist (z. B. Verifikation, ob eine universelle Behauptung wahr ist), verwendet Evergreen Anytime-Valid Confidence Sequences. Im Gegensatz zu klassischen Konfidenzintervallen erlauben CSs eine kontinuierliche Überwachung, ohne die Fehlerraten zu erhöhen. Das System stoppt das Sampling, sobald das Konfidenzintervall mit hoher Wahrscheinlichkeit beweist, dass die Behauptung wahr oder falsch ist.
Allgemeine Optimierungen:
- Operator-Fusion: Kombiniert mehrere semantische Operatoren (z. B. filter + map) zu einem einzigen LLM-Aufruf pro Tupel.
- Ähnlichkeitsfilterung: Ein leichter Vorfilter mittels Embeddings, um offensichtlich irrelevante Tupel zu verwerfen, bevor das LLM aufgerufen wird.
- Prompt-Caching: Wiederverwendung von LLM-Antworten für identische Prompts über verschiedene Behauptungen hinweg.

C. Zitate via Semiring-Provenance

Um Erklärungen zu liefern, behandelt Evergreen Zitate als Datenprovenance. Es nutzt Semiring-Provenance für Prädikatenlogik erster Stufe:

Jedes Tupel wird mit Token annotiert, die angeben, ob es die Formel der Behauptung erfüllt.
Das System leitet eine minimale Menge von Token (Monome) ab, die das Ergebnis rechtfertigen.
Wenn eine Behauptung wahr ist, wird die minimale Menge an Zeugen zurückgegeben. Wenn falsch, wird die minimale Menge an Gegenbeispielen zurückgegeben. Dies stellt sicher, dass Erklärungen prägnant und mathematisch fundiert sind.

3. Hauptbeiträge

Logische Formalisierung: Identifikation gängiger Behauptungstypen in semantischen Aggregaten und Abbildung auf wohldefinierte logische Strukturen (existenziell, universal, kardinal, proportional, ordinal, geschachtelt).
Deklarative Kompilierung: Demonstration, wie natürliche Sprachbehauptungen in deklarative semantische Verifikationsabfragen kompiliert werden können, wobei die Optimierungsbelastung vom LLM auf die Abfrage-Engine verlagert wird.
Neuartige Optimierungen: Einführung verifikationsspezifischer Techniken (Frühes Stoppen, Relevanzsortierung, Schätzung mittels Konfidenzsequenzen), die Kosten und Latenz drastisch reduzieren.
Formale Provenance: Anwendung von Semiring-Provenance zur Formalisierung von Zitaten als minimale Erklärungen für Verifikationsergebnisse.
Umfassende Evaluation: Aufbau eines Benchmarks mit 16 verschiedenen Behauptungen über reale Datensätze von Restaurantbewertungen zur Evaluierung des Systems.

4. Experimentelle Ergebnisse

Das System wurde an drei Yelp-Datensätzen (jeweils 1,6k–1,8k Tupel) gegen Baselines evaluiert: LLM-as-a-judge (base_rm), Retrieval-Augmented Agent (rag_agent) und ein Unoptimiertes Evergreen (evg_unopt).

Qualität vs. Kosten:
- Starke LLMs: Evergreen mit einem starken LLM (Opus) erreichte F1 = 1,00 (perfekte Verifikation) bei gleichzeitiger Reduzierung der Kosten um den Faktor 3,2 und der Latenz um den Faktor 4,0 im Vergleich zur unoptimierten Version.
- Schwache LLMs: Evergreen mit einem schwachen LLM (Llama 8B) übertraf eine starke LLM-as-a-judge-Baseline (Opus) im F1-Score (0,89 vs. 0,82) bei 48-fach niedrigeren Kosten und 2,3-fach niedrigerer Latenz.
- Vs. RAG-Agent: Evergreen erreichte mit einem schwachen LLM die gleiche oder höhere Qualität als der RAG-Agent bei 63-fach niedrigeren Kosten und 4,2-fach niedrigerer Latenz.
Ablationsstudie:
- Frühes Stoppen war die kritischste Optimierung und reduzierte Kosten/Latenz um den Faktor 6,7.
- Schätzung (CS) und Prompt-Caching lieferten Einsparungen im Bereich von 2-fach bis 2,7-fach.
- Das Deaktivieren von Optimierungen verschlechterte die Leistung im Allgemeinen erheblich, was die Notwendigkeit des neuro-symbolischen Ansatzes beweist.
Robustheit: Selbst mit schwächeren Modellen behielt Evergreen eine hohe Provenance-Präzision (0,84–0,99) bei und stellte sicher, dass die bereitgestellten Zitate zuverlässig waren.

5. Bedeutung

Evergreen repräsentiert einen bedeutenden Wandel darin, wie semantische Datensysteme mit Zuverlässigkeit umgehen.

Neuro-symbolische Synergie: Es kombiniert effektiv das semantische Verständnis von LLMs mit der rigorosen Optimierung und logischen Reasoning von Datenbank-Abfrage-Engines.
Skalierbarkeit: Es löst die Engpässe „Kontextfenster" und „Kosten", die derzeit die zuverlässige Nutzung von LLMs in der produktiven Datenanalyse verhindern.
Vertrauenswürdigkeit: Durch die Bereitstellung minimaler, mathematisch fundierter Zitate geht es über „Black-Box"-LLM-Ausgaben hinaus und macht semantische Aggregate für den Unternehmenseinsatz überprüfbar und vertrauenswürdig.
Zukunftsrichtung: Es ebnet den Weg für „Semantische Integritätsbedingungen", bei denen Datenbank-Systeme die Korrektheit von LLM-generierten Erkenntnissen automatisch durchsetzen können.

Zusammenfassend zeigt Evergreen, dass durch die Behandlung der Claims-Verifikation als Abfrageoptimierungsproblem Systeme eine perfekte oder nahezu perfekte Verifikationsqualität zu einem Bruchteil der Kosten und Latenz aktueller State-of-the-Art-LLM-Ansätze erreichen können.