EnterpriseRAG: Benchmarking LLM Instruction Adherence and Robustness under Non-Ideal Enterprise Retrieval
Het artikel introduceert EnterpriseRAG, een uitgebreide benchmark van 983 door experts gevalideerde monsters verspreid over zes domeinen die een kritieke "orkestratiehiaat" in enterprise Retrieval-Augmented Generation (RAG)-systemen blootlegt, waarbij wordt onthuld dat hoewel grote taalmodellen vaak aan individuele beperkingen voldoen, hun holistische instructie-opvolging significant instort onder realistische productieomstandigheden waarbij sprake is van ruis in de retrieval, kennishiaten en feitelijke conflicten.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een superintelligente robot probeert te leren hoe hij een behulpzame assistent kan zijn. Je geeft het een bibliotheek met boeken (zijn kennisbasis) en vraat hem een vraag. De robot gaat naar de bibliotheek, pakt een paar pagina's, leest ze en schrijt een antwoord. Dit wordt RAG (Retrieval-Augmented Generation) genoemd. Het is als een leerling die een open boek examen maakt: ze hoeven niet alles uit het hoofd te leren, maar ze moeten wel de juiste pagina vinden en deze zorgvuldig lezen om het antwoord goed te krijgen.
Maar hier zit de crux: in de echte wereld zijn bibliotheken rommelig. Soms pakt de robot pagina's die niets met de vraag te maken hebben (ruis). Soms bevatten de boeken het antwoord helemaal niet (een kenniskloof). En soms zeggen twee verschillende boeken iets tegenstrijdigs over hetzelfde feit (een conflict). De meeste tests voor deze robots gaan ervan uit dat de bibliotheek perfect is en de vragen simpel zijn, zoals: "Wat is de hoofdstad van Frankrijk?" Maar het echte leven is meer als vragen: "Vat de omzet van het afgelopen kwartaal samen in een tabel, maar als de gegevens ontbreken, zeg dan 'Ik weet het niet' in plaats van te gokken, en als twee rapporten elkaar tegenspreken, vermeld dan beide."
Dit is waar het ingewikkeld wordt. We willen dat onze robotassistenten niet alleen feiten vinden, maar ook strikte regels volgen, toegeven wanneer ze vastlopen en complexe situaties afhandelen zonder dingen te verzinnen. Als een robot dit niet kan, kan hij een zelfverzekerd maar foutief antwoord geven, wat rampzalig kan zijn voor een bedrijf dat belangrijke beslissingen moet nemen.
De Grote "Follow-Through" Fout
Een team van onderzoekers van China Mobile's Jiutian Research heeft een nieuwe, zwaardere test gebouwd genaamd EnterpriseRAG om te zien hoe goed deze AI-robots de rommeligheid van de echte wereld daadwerkelijk aan kunnen. Zie deze test als een "stresstest" voor AI, ontworpen om te zien of ze hun kalmte bewaren wanneer de instructies ingewikkeld zijn en de gevonden informatie defect of tegenstrijdig is.
Ze creëerden 983 lastige scenario's in zes verschillende vakgebieden, zoals energie, geneeskunde, recht en financiën. In deze scenario's stelden ze niet alleen simpele vragen. Ze gaven de robots complexe instructies met meerdere regels, zoals "Gebruik een tabel", "Gok niet", "Citeer je bronnen" en "Als je een tegenstrijdigheid ziet, vertel me er dan over." Vervolgens verpestten ze de informatie die de robots vonden opzettelijk: ze voegden irrelevante troep toe, verwijderden het antwoord volledig of plantten valse tegenstrijdigheden.
De Grote Ontdekking: De "Orchestratiekloof"
De resultaten waren een schok. Wanneer de onderzoekers controleerden of de robots individuele regels konden volgen, deden ze het best aardig. Ongeveer 84% van de tijd kreeg een robot een enkele regel goed, zoals het gebruiken van de juiste opmaak of het citeren van een bron. Het was alsof een leerling elke wiskundige stap perfect uitvoerde, maar vergat het uiteindelijke antwoord op te schrijven.
Echter, wanneer ze controleerden of de robots alle regels tegelijkertijd volgden, stortte de score in tot slechts 27%. De onderzoekers noemen dit een 5 punten "orchestratiekloof". Het blijkt dat hoewel deze AI-modellen heel goed zijn in het doen van één ding tegelijk, ze uit elkaar vallen wanneer ze meerdere complexe instructies tegelijkertijd moeten jongleren. Ze krijgen misschien de opmaak goed, maar verzinnen dan een feit, of ze vinden het juiste antwoord maar vergeten te zeggen "Ik weet het niet" wanneer de gegevens ontbreken.
De "Behulpzaamheidsval"
Een van de meest interessante bevindingen was hoe de robots omgaan met situaties waarin het antwoord niet in de boeken staat. Mensen weten dat als je iets niet weet, je moet zeggen: "Ik weet het niet." Maar deze AI-robots hebben een sterke "behulpzaamheidsbias". Ze willen zo graag behulpzaam zijn, dat ze wanneer ze het antwoord niet kunnen vinden, vaak gewoon iets verzinnen.
In de test, wanneer de informatie ontbrak, weigerden de robots alleen in 42,7% van de gevallen correct te antwoorden (waarbij Claude-Opus-4.5 het beste model was). In de overige 57,3% van de gevallen gokten ze zelfverzekerd of hallucineerden ze een antwoord. Dit is gevaarlijk, omdat een zelfverzekerd fout antwoord vaak erger is dan helemaal geen antwoord.
Redeneren Helpt, Maar Is Geen Tovermiddel
De onderzoekers testten ook "redeneermodellen"—AI die een momentje de tijd neemt om na te "denken" voordat het antwoord geeft, zoals een leerling die even pauzeert om een moeilijk probleem op te lossen. Deze modellen presteerden beter dan de standaardmodellen. Zo waren ze veel beter in het opsporen van situaties waarin twee documenten elkaar tegenspreken. Het beste redeneermodel zag conflicten in 44,3% van de gevallen, terwijl anderen veel lager scoorden.
Toch waren zelfs de "denkende" modellen niet perfect. Ze hadden nog steeds moeite met het tegelijkertijd volgen van alle regels, en ze gokten nog steeds soms wanneer ze eigenlijk hadden moeten toegeven dat ze het niet wisten. Het paper suggereert dat het simpelweg harder laten "denken" van de AI niet genoeg is om het probleem op te lossen; de robots hebben betere training nodig in het beoordelen of ze voldoende informatie hebben en hoe ze complexe protocollen kunnen volgen zonder de controle te verliezen.
De Kern van het Verhaal
Het paper beweert niet dat AI voor altijd kapot is, maar het laat wel zien dat we de inzetbaarheid van deze systemen voor serieus, echt werk overschatten. Alleen omdat een AI een gedicht kan schrijven of een simpele vraag kan beantwoorden, betekent niet dat hij een complexe zakelijke taak met rommelige data en strikte regels aankan. Om deze systemen betrouwbaar te maken, moeten we stoppen met ze te testen in perfecte, schone omgevingen en beginnen met het testen in de rommelige, luidruchtige, tegenstrijdige wereld waarin ze daadwerkelijk zullen moeten werken. Totdat we die 57-punten kloof kunnen dichten, moeten we zeer voorzichtig zijn met het zelfstandig laten nemen van belangrijke beslissingen door deze robots.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.