💬 NLP

Less is More: Lightweight Prompt Compression for Question Answering Applications on Edge Devices

Das Papier stellt CORE vor, eine leichtgewichtige, zweistufige Prompt-Kompressionmethode, die den Bedarf an Hilfsmodellen kleiner Sprachmodelle eliminiert, um die Genauigkeit signifikant zu verbessern, den Speicherverbrauch zu reduzieren und die Inferenz für Retrieval-Augmented Question Answering auf ressourcenbeschränkten Edge-Geräten zu beschleunigen.

Ursprüngliche Autoren: Zihuai Xu, Ruofei Hou, Yang Xu, Hongli Xu, Yunming Liao, Ying Zhu

Veröffentlicht 2026-06-23

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Zihuai Xu, Ruofei Hou, Yang Xu, Hongli Xu, Yunming Liao, Ying Zhu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Detektiv, der versuchen muss, ein Rätsel zu lösen. Sie haben einen riesigen Stapel alter Zeitungen, Tagebücher und Briefe (den abgerufenen Kontext), die die Antwort auf Ihre Frage enthalten könnten. Allerdings bestehen 95 % dieses Stapels nur aus Wetterberichten, Anzeigen und Klatsch und Tratsch, die absolut nichts mit Ihrem Fall zu tun haben.

Wenn Sie versuchen, den gesamten Stapel einem sehr klugen, aber beschäftigten Assistenten (dem Large Language Model oder LLM) vorzulesen, passieren zwei schlechte Dinge:

Der Assistent wird überfordert: Es dauert zu lange, den ganzen Müll durchzulesen, und er könnte durch das Rauschen verwirrt werden und den eigentlichen Hinweis übersehen.
Dem Assistenten geht der Platz aus: Ihr Telefon oder Edge-Gerät (wie ein Smart Car oder ein Roboter) hat nicht genug Speicherplatz, um den gesamten Stapel auf einmal zu halten.

Das Problem mit aktuellen Lösungen

Um diesen Stapel zu bereinigen, nutzen die Leute derzeit einen „Mini-Detektiv“ (ein Small Language Model oder SLM), der die Papiere liest und dem Hauptassistenten sagt, was er behalten soll.

Der Haken: Dieser Mini-Detektiv ist schwerfällig. Er benötigt viel Speicherplatz und Batterieleistung. Den Versuch, diesen Mini-Detektiv auf einem Smartphone laufen zu lassen, ist so, als würde man versuchen, einen schweren Kühlschrank in seinen Rucksack zu packen; es ist zu langsam und entlädt den Akku sofort.

Die Lösung: CORE (Context Refinement via Entity-aware filtering)

Die Autoren dieses Papers schlagen eine neue Methode namens CORE vor. Anstatt einen schweren Mini-Detektiv einzustellen, nutzt CORE einen cleveren, leichtgewichtigen zweistufigen Prozess, der wie ein geschickter Bibliothekar mit einer Lupe funktioniert.

Schritt 1: Der „Wer, Was, Wo“-Filter (Candidate Filtering)

Anstatt jedes Wort zu lesen, schaut CORE zuerst auf die Frage, um zu erraten, welche Art von Antwort Sie benötigen.

Die Analogie: Wenn Sie fragen: „Wer war der Kapitän?“, weiß CORE, dass Sie nach einer Person suchen. Wenn Sie fragen: „Wann ist es passiert?“, weiß CORE, dass Sie nach einem Datum suchen.
Die Aktion: Es scannt den Text schnell ab, um Sätze zu finden, die diese spezifischen „Arten“ von Wörtern (wie Namen oder Daten) enthalten. Es findet auch Sätze, die der Frage sehr ähnlich sind.
Das Ergebnis: Es erstellt zwei kurze Listen:
1. Das Antwort-Set: Sätze, die vielleicht die Antwort enthalten.
2. Das Hinweis-Set: Sätze, die den Kontext oder die Beweise liefern, um die Antwort zu bestätigen.
Warum es cool ist: Dieser Schritt nutzt winzige, leichte Werkzeuge (wie ein einfaches Vergrößerungsglas), die problemlos in eine Tasche passen, im Gegensatz zum schweren Kühlschrank der alten Methoden.

Schritt 2: Der „Gegencheck“ (Evidence Refining)

Jetzt hat CORE zwei Listen, aber sie könnten immer noch zu lang sein oder falsche Fährten enthalten. Es muss sie weiter bereinigen, ohne einen schweren Computer zu benutzen.

Das Verfeinern der Hinweise: Stellen Sie sich vor, die Hinweise sind Puzzleteile. CORE ordnet sie so an, dass sie sich nicht wiederholen. Wenn zwei Hinweise dasselbe aussagen, behält es den besten und verwirft das Duplikat. Dies geschieht, indem geprüft wird, ob ein neuer Hinweis etwas Neues zur Geschichte beiträgt.
Das Beschneiden der Antworten: CORE prüft, ob die „Antwort“-Sätze tatsächlich durch die „Hinweis“-Sätze gestützt werden. Wenn ein Antwortsatz weit entfernt von den Hinweisen liegt, die ihn stützen, oder wenn es sich nur um eine zufällige Erwähnung eines Namens ohne Kontext handelt, wirft CORE ihn heraus. Es behält nur die Antworten, die „direkt neben“ ihrem Beweis stehen.

Die Ergebnisse: Schnell, leicht und genau

Die Autoren haben CORE auf echten Edge-Geräten getestet, wie einem NVIDIA Jetson (einem leistungsstarken Computer für Roboter/Autos) und einem Huawei-Smartphone.

Geschwindigkeit: CORE ist unglaublich schnell. Während andere Methoden über eine Minute brauchten, um ein Dokument zu bereinigen, erledigte CORE dies in Sekunden.
Speicher: Es nutzt nur einen winzigen Bruchteil des Speichers. Wenn andere Methoden eine ganze Festplatte an Platz benötigten, passt CORE auf einen USB-Stick.
Batterie: Auf einem Smartphone sparte CORE 95 % der Energie im Vergleich zur besten bestehenden Methode. Es ist wie der Wechsel von einem benzinbetriebenen LKW zu einem Elektroroller.
Genauigkeit: Trotz der Tatsache, dass es so viel Text wegwarf, wurde die KI tatsächlich besser im Beantworten von Fragen. Durch das Entfernen des Rauschens konnte sich die KI auf das Signal konzentrieren. In Tests verbesserte es die Genauigkeit um über 30 % im Vergleich zu anderen Kompressionsmethoden.

Zusammenfassung

CORE ist eine smarte, leichtgewichtige Methode, um massive Dokumente auf ihre wichtigsten Teile zu schrumpfen, damit sie auf kleine Geräte wie Telefone passen. Es nutzt keinen schweren „Mini-KI“-Prozess, um die Arbeit zu erledigen; stat stattdessen nutzt es kluge Regeln über Entitäten (Namen, Daten, Orte) und Beziehungen, um den Müll herauszufiltern. Dies macht KI-Assistenten auf Edge-Geräten schneller, genauer und weniger wahrscheinlich dazu in der Lage, Ihren Akku zu leeren.

Technische Zusammenfassung: CORE – Leichtgewichtige Prompt-Kompression für QA auf Edge-Geräten

Problemstellung
In Retrieval-Augmented Generation (RAG)-Systemen für die Frage-Antwort-Generierung (Question Answering, QA) leiden Large Language Models (LLMs) häufig unter dem „Long-Context-Problem“. Abgerufene Dokumente enthalten oft erhebliche redundante Informationen (häufig über 9ische % Rauschen), was die entscheidenden Belege verwässert und die Antwortgenauigkeit verschlechtern kann. Darüber hinaus bedeutet die quadratische Komplexität von Self-Attention-Mechanismen, dass lange Prompts die Inferenzlatenz und den Speicherverbrauch signifikant erhöhen. Dies ist besonders kritisch für Edge-Geräte (z. B. Smartphones, autonome Fahrzeuge), bei denen die Rechenressourcen und Kontextfenster begrenzt sind.

Bestehende Methoden zur Prompt-Kompression verlassen sich typischerweise auf Hilfs-Small Language Models (SLMs), um die Wichtigkeit von Token oder Sätzen zu schätzen. Diese Ansätze führen jedoch zu einem prohibitiven Overhead für den Einsatz am Edge:

Speicher-Overhead: SLMs (z. B. 7B-Parameter-Modelle) benötigen 14–24 GB VRAM, was die 8–16 GB, die auf Consumer-Edge-GPUs verfügbar sind, weit überschreitet.
Latenz: Das Prefilling der Prompts durch SLMs führt zu Verzögerungen von über einer Minute auf Mobilgeräten, was sie für Echtzeit-QA ungeeignet macht.
Trainingsanforderungen: Viele Methoden erfordern ein umfangreiches Fine-Tuning auf großen Datensätzen, was ressourcenintensiv und für Edge-Szenarien unpraktisch ist.

Methodik: CORE (Context Refinement via Entity-aware filtering)
Die Autoren schlagen CORE vor, ein leichtgewichtiges, zweistufiges Framework zur Satz-basierten Prompt-Kompression, das ohne Hilfs-SLMs arbeitet. CORE nutzt lediglich einen leichtgewichtigen Named Entity Recognition (NER) Klassifikator und ein Embedding-Modell (insgesamt ca. 40 MB Speicherbedarf).

Stufe 1: Kandidatenfilterung (Candidate Filtering)
- Erstellung des Antwort-Sets (Answer Set Construction): CORE analysiert die Benutzeranfrage, um „interessierte Entitäten“ (z. B. Daten, Orte, Personen) zu identifizieren, indem die Anfrage mit einem Satz kanonischer Template-Anfragen in einem Embedding-Raum abgeglichen wird. Es filtert anschließend den abgerufenen Kontext, um ein Answer Set ( $C_{ans}$ ) zu konstruieren, das aus Sätzen besteht, die mindestens eine dieser identifizierten Entitäten enthalten.
- Erstellung des Clue-Sets (Clue Set Construction): Gleichzeitig konstruiert CORE ein Clue Set ( $C_{clue}$ ), indem es Kontext-Sätze filtert, die eine hohe semantische Ähnlichkeit zur Benutzeranfrage aufweisen und somit als Brückenbeweise dienen.
Stufe 2: Beweis-Verfeinerung (Evidence Refining)
- Clue-Verfeinerung (Orthogonal Residual Retrieval): Um Redundanz innerhalb des Clue-Sets zu adressieren, verwendet CORE eine iterative Strategie der orthogonalen Vektordekomposition. Es wählt sequenziell Clues aus, die die semantische Übereinstimmung mit dem Residual (dem unerklärten Teil) der Anfrage maximieren. Ein dynamischer Strafkoeffizient ( $\mu_t$ ) wird kalibriert, basierend darauf, wie gut ein ausgewählter Clue die Brücke zwischen der Anfrage und den Kandidatenantworten schlägt, um eine diverse semantische Abdeckung zu gewährleisten. Die optimale Anzahl der Clues ( $K$ ) wird automatisch mittels der „Elbow-Methode“ auf der Utility-Score-Kurve bestimmt.
- Antwort-Pruning (Spatial Proximity Metric): Um das potenziell große Answer Set zu filtern, führt CORE eine Metrik basierend auf räumlicher Nähe ein. Es berechnet die Wichtigkeit jeder Entität im Answer Set, indem es deren Distanz zu den hochkonfidenten Clues misst. Entitäten, die sich in unmittelbarer Nähe relevanter Clues befinden, erhalten höhere Scores. Answer-Sätze werden dann nach der Summe ihrer konstituierenden Entitäts-Scores gerankt und beschnitten, um das strikte Token-Budget einzuhalten.

Wesentliche Beiträge

SLM-freie Architektur: CORE eliminiert die Notwendigkeit für schwere Hilfs-SLMs, reduziert den Speicher-Overhead auf etwa 0,14 % eines Standard-7B-SLM und ermöglicht so den Einsatz auf ressourcenbeschränkten Edge-Geräten.
Synergetische Verfeinerung: Die Arbeit führt einen Mechanismus ein, der die Verfeinerung von Clues und Antworten miteinander verknüpft. Es nutzt eine orthogonale Residual-Strategie zur Destillation der Clues und eine räumliche Proximitätsmetrik zur Validierung der Antworten, wodurch sichergestellt wird, dass der komprimierte Kontext die logische Kohärenz und die Argumentationsketten beibehält.
Edge-optimierte Implementierung: Das Framework ist speziell auf niedrige Latenz und Energieeffizienz ausgelegt und nutzt leichtgewichtige Komponenten (spaCy NER und MiniLM Embeddings), die für mobile und industrielle Edge-Hardware geeignet sind.

Experimentelle Ergebnisse
Die Autoren evaluierten CORE auf einer NVIDIA Jetson AGX Orin (lokale Inferenz) und einem Huawei Nova Smartphone (Edge-Cloud-Offloading) über sechs LongBench-Datensätze (z. B. 2WikiMQA, HotpotQA, NarrativeQA) unter Verwendung von drei 7B LLMs.

Genauigkeit: Innerhalb eines 2000-Token-Budgets verbesserte CORE die Genauigkeit im Vergleich zu State-of-the-Art-Baselines (LLMLingua, LLMLingua-2, LongLLMLingua) um mindestens 30,19 %. Bemerkenswerterweise übertraf CORE auf dem 2WikiMQA-Datensatz mit LLaMA2-7B-chat-4k sogar die unkomprimierte Baseline.
Effizienz:
- Speicher: CORE reduzierte den Speicherverbrauch im Vergleich zu den Baselines um mindestens 50,47 %, wobei die Spitzenauslastung zwischen 0,7 GB und 1,7 GB lag.
- Latenz: CORE erreichte eine Reduktion der Kompressionslatenz um 48,52 % gegenüber LLMLinguia-2 und eine Beschleunigung von bis zu 98,99 % gegenüber Methoden, die 7B SLMs verwenden.
- Energie: Auf dem Huawei Nova Smartphone demonstrierte CORE eine Reduktion des Energieverbrauchs um 95,74 % im Vergleich zu LLMLingua-2.
Robustheit: CORE behielt eine überlegene Performance selbst unter strengen Token-Budget-Beschränkungen (bis zu 500 Tokens) bei, während Baselines eine signifikante Verschlechterung zeigten.

Bedeutung und Ansprüche
Das Paper behauptet, dass CORE den kritischen Engpass bei der Bereitstellung von RAG-basierten QA-Agenten auf Edge-Geräten adressiert. Durch die Entfernung der Abhängigkeit von schweren SLMs macht CORE die Prompt-Kompression für Echtzeit-, Mobile- und industrielle Edge-Anwendungen praktikabel, in denen Speicher und Energie knapp sind. Die Autoren betonen, dass ihre Methode nicht nur die Rechenkosten senkt, sondern auch die Antwortgenauigkeit erhöht, indem sie effektiv Rauschen filtert und die für komplexe Argumentation notwendigen logischen Ketten bewahrt, wodurch das „Lost-in-the-Middle“-Phänomen und Halluzinationen im Zusammenhang mit langen Kontexten gemildert werden. Die Arbeit positioniert sich als praktische, generalisierbare Lösung für die nächste Generation von Edge-KI-Agenten.