LEDGER: Deterministic Checks and Auditable Evaluation for Business AI Systems
Das Papier stellt LEDGER vor, eine Evaluierungsplattform, die es Unternehmen ermöglicht, deterministische, auditierbare und kosteneffiziente Tests für ihre geschäftlichen KI-Systeme unter Verwendung proprietärer Daten zu erstellen, wobei demonstriert wird, wie ein selbst gehostetes Open-Weight-Modell eine Genauigkeit auf dem Niveau von Frontier-Modellen zu einem Bruchteil der Kosten proprietärer Alternativen erreichen kann.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der modernen Arbeitswelt verlassen sich Unternehmen zunehmend auf künstliche Intelligenz, um Fragen zu ihren eigenen internen Daten zu beantworten. Ein Engineering Manager könnte fragen, wie viele Code-Änderungen letzte Woche überprüft wurden, oder ein Finanzanalyst könnte nach der durchschnittlichen Zeit fragen, die für die Behebung eines bestimmten Fehlertyps benötigt wurde. Diese Systeme sind nicht bloß ein einzelnes Computerprogramm, das im Vakuum denkt; sie sind komplexe Gebilde, bei denen ein Sprachmodell mit den privaten Datenbanken des Unternehmens verbunden ist, geleitet von strengen Regeln darüber, was es offenbaren darf und was nicht, und verwaltet von einer Software, die entscheidet, welche Werkzeuge zu verwenden sind. Die Herausforderung für jedes Unternehmen besteht darin, dass diese Systeme fragil sind. Eine kleine Änderung am Modell, den Regeln oder der Art und Weise, wie die Software mit der Datenbank kommuniziert, kann plötzlich dazu führen, dass die Antworten falsch sind. Während öffentliche Tests existieren, um die Intelligenz verschiedener KI-Modelle bei allgemeinen Aufgaben zu bewerten, sagen diese Scores nicht voraus, wie gut ein spezifisches System eines Unternehmens mit seinen eigenen, einzigartigen Daten und Regeln funktionieren wird. Unternehmen benötigen eine Möglichkeit, ihre eigenen Systeme nach jeder einzelnen Änderung wiederholt zu testen, um sicherzustellen, dass die Antworten korrekt bleiben und die Kosten für das Erhalten dieser Antworten überschaubar bleiben.
Ein Team von Forschern bei Interval, einem Unternehmen, das Business-Intelligence-Tools entwickelt, hat eine neue Methode namens LEDGER entwickelt, um dieses Problem zu lösen. Anstatt sich auf öffentliche Scores zu verlassen, verwandelt LEDGER die eigenen Daten, Fragen und Regeln eines Unternehmens in einen wiederholbaren, strengen Test. Das System arbeitet dadurch, dass es spezifische Szenarien erstellt: Eine Frage wird gestellt, eine bestimmte korrekte Antwort wird im Voraus definiert und ein Satz an Beweisen wird vorbereitet, um zu belegen, ob die Antwort richtig ist. Diese Beweise könnten ein eingefrorener Schnappschuss einer Datenbankabfrage, eine spezifische Richtlinie oder eine aufgezeichnete Änderung in einem Software-Dashboard sein. Wenn das KI-System versucht, die Frage zu beantworten, prüft die LEDGER-Plattform das Ergebnis. Wenn die Antwort eine einfache Zahl oder eine klare Tatsache ist, bewertet ein deterministischer Check – ein Computerprogramm, das strikter Logik folgt, ohne zu raten – sie sofort. Wenn die Antwort in komplexer Prosa verfasst ist, die der Computer nicht leicht parsen kann, prüft ein separater KI-Richter das Ergebnis, jedoch erst, nachdem ein deterministischer Check bestätigt hat, dass die Beweise die Behauptung stützen. Jeder einzelne Score ist an den spezifischen Beweis geknüpft, der ihn hervorgebracht hat, wodurch ein klarer, auditierbarer Pfad entsteht, der genau zeigt, warum eine Antwort als korrekt oder inkorrekt markiert wurde.
Die Forscher nutzten diese Plattform, um einen Business-Intelligence-Assistenten auf Basis von DeepSeek V4 Flash aufzubauen und zu testen, einem leistungsstarken Open-Weight-Modell, das das Unternehmen auf seinen eigenen privaten Servern hostet. Sie verglichen dieses maßgeschneiderte System mit sieben anderen führenden Modellen, darunter fünf proprietäre Systeme großer Technologieunternehmen und ein weiteres Open-Weight-Modell. Der Vergleich war streng: Jedem System wurden exakt dieselben Werkzeuge, dieselben Daten und exakt derselbe Satz an Fragen gegeben. Die Ergebnisse zeigten, dass das Open-Weight-Modell, wenn es in die spezifischen Werkzeuge und Regeln des Unternehmens eingebettet war, genauso gut abschnitt wie die fortschrittlichsten proprietären Modelle. Bei einem Testdatensatz von 97 sorgfältig ausgewählten Szenarien beantwortete das maßgeschneiderte System 96 korrekt, während die anderen Top-Modelle zwischen 94 und 97 korrekt beantworteten. Dies demonstrierte, dass der „Harness“ (das Geschirr) aus Werkzeugen und Regeln, der das Modell umgibt, genauso wichtig ist wie das Modell selbst. Ohこと diese spezifischen Werkzeuge und Definitionen performte das Open-Modell etwas schlechter, aber mit ihnen erreichte es das gleiche Genauigkeitsniveau wie die teuersten State-of-the-Art-Systeme.
Die bedeutendste Erkenntnis betraf jedoch die Kosten. Während die Genauigkeit über alle Systeme hinweg ähnlich war, variierte der Preis für eine korrekte Antwort massiv. Die Forscher berechneten die Kosten pro korrekter Antwort für jedes System. Die proprietären Modelle, auf die über teure Cloud-Dienste zugegriffen wird, kosteten zwischen sechs- und siebenundsiebzig Mal mehr pro korrekter Antwort als das von Interval selbst gehostete Open-Weight-Modell. Selbst wenn die Forscher die günstigsten verfügbaren Preisstufen der proprietären Modelle anwandten, waren diese immer noch signifikant teurer als der eigene private Aufbau des Unternehmens. Dies deutet darauf an, dass es bei der Wahl eines Modells für Unternehmen mit spezifischen Datenbedürfnissen weniger darum geht, das einzelne „klügste“ Gehirn zu finden, sondern vielmehr darum, das richtige Gleichgewicht zwischen Genauigkeit, Kontrolle und Kosten zu finden. Die Studie argumentet, dass Unternehmen durch die Verwendung eines rigorosen, auditierbaren Testsystems wie LEDGER selbst gehostete, günstigere Modelle vertrauensvoll wählen können, sofern sie in die richtigen Werkzeuge und Regeln investieren, die sie leiten.
Die Forscher stellten sorgfältig fest, dass ihre Ergebnisse spezifisch für ihre eigene Arbeitslast und die Art und Weise, wie sie ihre Tests strukturiert haben, sind. Sie behaupteten nicht, dass dieses Open-Weight-Modell universell überlegen gegenüber allen anderen in jeder Situation ist, noch deuteten sie an, dass die Kosteneinsparungen für jedes Unternehmen identisch wären. Die Studie maß die Leistung bei einem spezifischen Satz von Business-Fragen und fand, dass für diese Art von Arbeit ein gut konzipiertes System um ein günstigeres Modell herum die Ergebnisse der teuersten Optionen erreichen kann. Die zentrale Erkenntnis ist, dass Genauigkeit in geschäftlichen Anwendungen nicht allein eine Eigenschaft des KI-Modells selbst ist, sondern des gesamten Systems, das um es herum gebaut wurde. Indem sie den Testprozess transparent und wiederholbar machen, können Unternehmen fundierte technische Entscheidungen treffen und sich von dem blinden Bezahlen der teuersten Modelle weg hin zum Aufbau von Systemen bewegen, die sowohl präzise als auch wirtschaftlich nachhaltig sind.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.