LEDGER: Deterministic Checks and Auditable Evaluation for Business AI Systems
Het artikel introduceert LEDGER, een evaluatieplatform dat bedrijven in staat stelt om deterministische, controleerbare en kostenbewuste tests voor hun zakelijke AI-systemen te creëren met behulp van eigen gegevens, waarbij wordt aangetoond hoe een zelfgehost open-weight model een nauwkeurigheid op frontier-niveau kan bereiken tegen een fractie van de kosten van propriëtaire alternatieven.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de moderne werkplek vertrouwen bedrijven steeds vaker op kunstmatige intelligentie om vragen te beantwoorden over hun eigen interne gegevens. Een engineering manager kan vragen hoeveel wijzigingen in de code vorige week zijn beoordeeld, of een financieel analist kan vragen naar de gemiddelde tijd die het kostte om een specifiek type fout op te lossen. Deze systemen zijn niet slechts één enkel computerprogramma dat in een vacuüm denkt; het zijn complexe assemblages waarbij een taalmodel is verbonden met de privé-databases van het bedrijf, geleid door strikte regels over wat het wel en niet mag onthullen, en beheerd door software die beslist welke hulpmiddelen worden gebruikt. De uitdaging voor elk bedrijf is dat deze systemen fragiel zijn. Een kleine wijziging aan het model, de regels of de manier waarop de software met de database communiceert, kan er plotseling voor zorgen dat de antwoorden onjuist zijn. Hoewel er publieke tests bestaan om te rangschikken hoe slim verschillende kunstmatige intelligentiemodellen zijn bij algemene taken, voorspellen die scores niet hoe goed een specifiek systeem van een bedrijf zal werken met zijn eigen unieke gegevens en regels. Bedrijven hebben een manier nodig om hun eigen systemen herhaaldelijk te testen na elke wijziging, om er zeker van te zijn dat de antwoorden correct blijven en dat de kosten voor het verkrijgen van die antwoorden beheersbaar blijven.
Een team onderzoekers bij Interval, een bedrijf dat business intelligence-tools bouwt, heeft een nieuwe methode genaamd LEDGER ontwikkeld om dit probleem op te lossen. In plaats van te vertrouwen op publieke scores, verandert LEDGER de eigen gegevens, vragen en regels van een bedrijf in een herhaalbare, rigoureuze test. Het systeem werkt door specifieke scenario's te creëren: een vraag wordt gesteld, een specifiek juist antwoord wordt vooraf gedefinieerd, en een set bewijslast wordt voorbereid om te bewijzen of het antwoord juist is. Dit bewijs kan een bevroren momentopname van een databasequery zijn, een specifieke beleidsregel, of een geregistreerde wijziging in een softwaredashboard. Wanneer het kunstmatige intelligentiesysteem probeert de vraag te beantwoorden, controleert het LEDGER-platform het resultaat. Als het antwoord een eenvoudig getal of een duidelijk feit is, scoort een deterministische controle — een computerprogramma dat strikte logica volgt zonder te gissen — dit onmiddellijk. Als het antwoord geschreven is in complexe proza die de computer niet gemakkelijk kan verwerken, beoordeelt een aparte kunstmatige intelligentie-rechter het, maar pas nadat een deterministische controle heeft bevestigd dat het bewijs de bewering ondersteunt. Elke score is gekoppeld aan de specifieke bewijslast die eraan ten grondslag ligt, wat een duidelijke, controleerbare audit-trail creëert die precies laat zien waarom een antwoord als correct of onjuist is gemarkeerd.
De onderzoekers gebruikten dit platform om een business intelligence-assistent te bouwen en te testen, aangedreven door DeepSeek V4 Flash, een krachtig open-weight model dat het bedrijf op zijn eigen privéservers host. Ze vergeleken dit op maat gemaakte systeem met zeven andere toonaangevende modellen, waaronder vijf propriëtaire systemen van grote technologiebedrijven en een ander open-weight model. De vergelijking was strikt: elk systeem kreeg exact dezelfde hulpmiddelen, exact dezelfde gegevens en exact dezelfde set vragen. De resultaten lieten zien dat wanneer het open-weight model werd ingebed in de specifieke tools en regels van het bedrijf, het net zo goed presteerde als de meest geavanceerde propriëtaire modellen. Op een testset van 97 zorgvuldig geselecteerde scenario's beantwoordde het aangepaste systeem 96 correct, terwijl de andere topmodellen tussen de 94 en 97 correct beantwoordden. Dit toonde aan dat de "harnas" van tools en regels rondom het model even belangrijk was als het model zelf. Zonder deze specifieke tools en definities presteerde het open model iets minder goed, maar met deze was het op hetzelfde niveau van nauwkeurigheid als de duurste, state-of-the-art systemen.
De meest significante bevinding betrof echter de kosten. Hoewel de nauwkeurigheid over de hele linie vergelijkbaar was, varieerde de prijs voor een correct antwoord enorm. De onderzoekers berekenden de kosten per correct antwoord voor elk systeem. De propriëtaire modellen, die worden geraadpleegd via dure clouddiensten, kostten tussen de zes en zeventigëenmaal meer per correct antwoord dan het door Interval zelf gehoste open-weight model. Zelfs toen de onderzoekers de goedkoopste beschikbare prijsniveaus van de propriëtaire modellen toepasten, kostten deze nog steeds aanzienlijk meer dan de eigen privé-opstelling van het bedrijf. Dit suggereert dat voor bedrijven met specifieke gegevensbehoeften de keuze van een model minder gaat over het vinden van de enkelvoudige "slimste" hersenen, en meer over het vinden van de juiste balans tussen nauwkeurigheid, controle en kosten. De studie betoogt dat bedrijven door een rigoureus, controleerbaar testsysteem zoals LEDGER te gebruiken, met vertrouwen goedkopere, zelfgehoste modellen kunnen kiezen zonder in te boeten op prestaties, mits zij investeren in de juiste tools en regels om hen te begeleiden.
De onderzoekers merkten er zorgvuldig bij op dat hun resultaten specifiek zijn voor hun eigen werklast en de specifieke manier waarop zij hun tests hebben gestructureerd. Ze beweerden niet dat dit open-weight model universeel superieur is aan alle andere modellen in elke situatie, noch suggereerden ze dat de kostenbesparingen identiek zouden zijn voor elk bedrijf. De studie mat de prestaties op een specifieke set zakelijke vragen en stelde vast dat, voor dit type werk, een goed ontworpen systeem rondom een goedkoper model de resultaten van de duurste opties kan evenaren. De belangrijkste les is dat nauwkeurigheid in zakelijke toepassingen niet uitsluitend een eigenschap is van het kunstmatige intelligentiemodel zelf, maar van het gehele systeem dat eromheen is gebouwd. Door het testproces transparant en herhaalbaar te maken, kunnen bedrijven geïnformeerde technische beslissingen nemen, waardoor ze wegbewegen van blind betalen voor de duurste modellen en toe bewegen naar het bouwen van systemen die zowel accuraat als economisch duurzaam zijn.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.