A Query Engine for the Agents
Dieser Beitrag stellt Hyperparam vor, eine Suite leichtgewichtiger, quelloffener JavaScript-Bibliotheken, die darauf ausgelegt sind, effiziente, modellbewusste Abfragen unstrukturierter Agentendaten direkt innerhalb clientseitiger KI-Anwendungen zu ermöglichen, indem SQL-Analysen mit asynchroner LLM-Interpretation verflochten werden.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie haben eine riesige Bibliothek ungeordneter Notizen, Chat-Protokolle und Roboter-Gedanken (was das Papier als „Agenten-Spuren" bezeichnet). In der Vergangenheit, wenn Sie eine bestimmte Geschichte in dieser Bibliothek finden wollten, mussten Sie ein Team von Bibliothekaren (Server wie Spark oder Trino) einstellen, die zu einem zentralen Lagerhaus gehen, die Bücher herausziehen und für Sie lesen. Das war langsam, teuer und erforderte, dass Sie in einer Schlange warteten.
Hyperparam ist ein neues Werkzeug, das das Spiel verändert. Anstatt einen Bibliothekar zum Lagerhaus zu schicken, gibt es Ihnen (oder Ihrem KI-Assistenten) direkt dort, wo Sie sitzen, eine winzige, superschnelle Taschenlampe und eine Lesebrille.
So funktioniert es, aufgeteilt in einfache Konzepte:
1. Das Problem: Der „schwere Rucksack"
Aktuelle KI-Tools (wie Code-Assistenten oder Chatbots) laufen auf Ihrem Computer oder in Ihrem Browser. Sie möchten Daten analysieren, aber die für Big Data entwickelten Tools (wie DuckDB oder Spark) sind wie schwere Rucksäcke.
- Sie sind zu groß, um in einen Browser-Tab zu passen.
- Sie brauchen zu lange zum Laden (wie das Warten auf einen Bus).
- Sie erfordern einen separaten Server, mit dem sie kommunizieren müssen, was alles verlangsamt.
2. Die Lösung: Der „Taschengroße Detektiv"
Die Autoren haben Hyperparam entwickelt, was tatsächlich drei winzige Tools ist, die in einem Paket kombiniert sind, das kleiner als ein einzelnes JPEG-Bild ist (unter 70 KB).
- Hyparquet: Das ist die Taschenlampe. Sie weiß, wie man in eine riesige Datei (Parquet) hineinschaut, ohne die ganze herunterzuladen. Sie liest nur die spezifischen Seiten, die Sie anfordern.
- Icebird: Das ist die Karte. Sie hilft, spezifische Dateien in einem massiven Speichersystem (Iceberg) zu finden, ohne dass ein zentraler Server Ihnen sagen muss, wo sie sind.
- Squirreling: Das ist der Detektiv. Es ist das Gehirn, das die Fragen stellt.
3. Der Zaubertrick: „Träges Lesen"
Das wichtigste Merkmal ist, wie Squirreling Daten liest. Stellen Sie sich vor, Sie lesen einen Krimi, aber Sie interessieren sich nur für die Teile, in denen der Detektiv einen Hinweis findet.
- Alter Weg (DuckDB-WASM): Die Engine liest das gesamte Buch, Seite für Seite, selbst wenn Sie nur das letzte Kapitel wollten. Wenn das Buch eine „smarte KI" hat, die jede Seite lesen muss, um sie zu verstehen, muss die KI das ganze Buch lesen, was viel Geld und Zeit kostet.
- Hyperparam-Weg (Träges Lesen): Die Engine wartet. Sie öffnet nur eine Seite, wenn der nächste Schritt im Prozess sie tatsächlich benötigt.
- Wenn Sie fragen: „Zeigen Sie mir die 5 verwirrendsten Momente", liest sie nur genug Text, um diese 5 Momente zu finden. Sie ignoriert den Rest der 10.000 Seiten.
- Wenn eine KI über einen Satz „nachdenken" muss, um eine Frage zu beantworten, bittet Hyperparam die KI nur, über die Sätze nachzudenken, die tatsächlich relevant sind. Sie verschwendet kein Geld damit, die KI zu bitten, langweilige Teile zu lesen.
4. Warum es schneller und günstiger ist
Das Papier testete dies gegen den aktuellen Standard (DuckDB-WASM) mit einem KI-Agenten, der versuchte, 10 verschiedene Datenrätsel zu lösen.
- Geschwindigkeit: Weil es keine schwere Engine laden oder auf einen Server warten muss, beginnt es fast sofort zu arbeiten.
- Kosten: Weil es „träges Lesen" verwendet, machte der KI-Agent weniger Fehler und musste seine eigene Arbeit nicht so oft neu lesen. Das sparte etwa zwei Drittel des Geldes im Vergleich zum alten Weg.
- Das „Steckenbleiben"-Problem: Im alten System, wenn die KI lange brauchte, um über einen Satz nachzudenken, stoppte der gesamte Prozess. Bei Hyperparam läuft der Prozess weiter, und die Antwort der KI „streamt herein", sobald sie bereit ist.
5. Das Fazit
Dieses Papier argumentiert, dass sich die Art und Weise, wie wir mit Daten umgehen, ändern muss, weil KI-Agenten jetzt diejenigen sind, die die Fragen stellen, nicht nur Menschen.
- Agenten wollen nicht auf einen Server warten.
- Agenten wollen nicht dafür bezahlen, Daten zu lesen, die sie nicht brauchen.
- Agenten brauchen Tools, die sofort in ihr eigenes „Gehirn" (den Browser oder die App) passen.
Hyperparam ist dieses Werkzeug: eine winzige, sofortige, geldsparende Engine, die KI-Agenten erlaubt, riesige Bibliotheken von Texten direkt dort zu lesen, wo sie leben, ohne ein schweres Infrastruktur-Team hinter sich zu benötigen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.