Self-Healing JSON Generation in Small Language Models: A Systematic Evaluation of Syntax Repair, Schema Coercion, and Validator Feedback
Dit artikel presenteert een zelfherstellend framework voor kleine taalmodellen dat syntactische reparatie, schema-gestuurde conversie en validator-feedback combineert om de JSON-geldigheid significant te verbeteren van 16,7% naar 78,1% zonder de modelgewichten aan te passen, terwijl het onthult dat dergelijke syntactische correcties geen garantie bieden voor semantische nauwkeurigheid.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteur. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je een wereld voor waarin computers een slordige handgeschreven notitie, een warrige e-mail of een gesproken verhaal kunnen lezen en direct de belangrijkste feiten eruit kunnen halen om een net, georganiseerd formulier in te vullen. Dit is de belofte van het omzetten van vrije taal in gestructureerde gegevens, een taak die alles aandrijft, van digitale agenda's tot voorraadsystemen. Om dit te doen, gebruiken computers vaak kleine, efficiënte versies van kunstmatige intelligentie die op gewone apparaten kunnen draaien zonder dat daar enorme servers voor nodig zijn. Deze kleine modellen zijn goedkoop en privé, maar ze hebben een gebrek: wanneer ze wordt gevraagd hun antwoorden in een strikt formaat genaamd JSON te schrijven, maken ze vaak fouten. Ze vergeten misschien een komma, wikkelen het antwoord in extra symbolen, of verzinnen een telefoonnummer dat niet bestaat. Als een computerprogramma probeert dit kapotte antwoord te lezen, crasht het. Jarenlang was de oplossing om de computer op een zeer rigide manier te laten denken terwijl hij aan het schrijven was, maar dit is moeilijk in te stellen en kan de computer soms minder slim maken. Een nieuwe studie stelt een simpelere vraag: wat als we de computer zijn antwoord vrij laten schrijven, en de fouten daarna voorzichtig repareren?
Onderzoekers zetten zich in om een driestappenproces te testen dat fungeert als een reparatieteam voor deze digitale antwoorden. Ze namen drie verschillende kleine modellen van kunstmatige intelligentie en vroegen hen om 120 verschillende tekstbeschrijvingen om te zetten in gestructureerde records, zoals contactgegevens of evenementenplanningen. De eerste stap in hun reparatieteam was een syntaxis-fixer. Dit hulpmiddel keek naar de ruwe tekst en verwijderde veelvoorkomende formatteringsfouten, zoals extra aanhalingstekens of ontbrekende haakjes, zonder de computer opnieuw te vragen om na te denken. De tweede stap was een schema-gids. Dit hulpmiddel controleerde de inhoud tegen de regels van het formulier. Als de computer een datum schreef als "8 oktober 2025" maar het formulier vereiste "2025-10-08", dan zette de gids dit om. Als de computer "ja" schreef in plaats van "true", veranderde de gids dit. Cruciaal was dat deze stap nooit nieuwe informatie verzocht; het vormde alleen wat er al was. De derde stap was een feedbackloop. Als het antwoord nog steeds niet aan de regels voldeed, toonde het systeem de specifieke fouten aan de computer en vroeg het de computer om het opnieuw te proberen.
De resultaten lieten zien dat de eerste twee stappen het zware werk deden. Voordat er enige reparatie plaatsvond, was slechts ongeveer één op de zes antwoorden van de modellen daadwerkelijk bruikbaar. Nadat de syntaxis-fixer en de schema-gids hun werk hadden gedaan, steeg het aantal bruikbare antwoorden naar bijna twee op drie, zonder dat de computer ook maar één nieuw antwoord hoefde te genereren. Voor het meest capabele model in de studie maakte deze eenvoudige schoonmaak bijna elk antwoord perfect. De onderzoekers ontdekten dat het grootste probleem van de computer vaak gewoon een gewoonte was om zijn antwoorden in code-symbolen te wikkelen, zoals een triple-backtick fence, wat strikte parsers in de war bracht maar gemakkelijk door het reparatiehulpmiddel kon worden verwijderd. Voor het kleinste, minst capabele model was het probleem dieper. Het begreep vaak de structuur van het verzoek verkeerd of kopieerde de regels van het formulier zelf in plaats van de gegevens. In deze gevallen hielp het simpelweg vragen aan de computer om het opnieuw te proberen na het zien van zijn fouten, maar alleen als de reparatiehulpmiddelen eerst de basisformattering hadden opgeschoond.
De studie onthulde echter een verrassende en belangrijke waarheid: alleen omdat een antwoord correct is geformatteerd, betekent dit niet dat het waar is. Zelfs nadat het reparatieteam de syntaxis en de structuur had hersteld, bevatte bijna de helft van de geldige antwoorden nog steeds onjuiste informatie. De modellen lieten soms een veld leeg, verzinden een plausibel klinkend telefoonnummer, of kozen de eerste optie uit een lijst met keuzes zonder te controleren of deze juist was. Dit gebeurde zelfs wanneer de computer werd verteld om het opnieuw te proberen. De onderzoekers observeerden dat de computer de regels van het formulier perfect kon vervullen terwijl hij nog steeds faalde in de taak om de waarheid te vertellen. Bijvoorbeeld, een model kon correct een contactkaart formatteren maar het telefoonnummer invullen met een placeholder zoals "123-456-7890" omdat het het echte nummer niet wist.
De studie suggereert dat vertrouwen op het feit of een antwoord aan een formaat voldoet, niet genoeg is. Om deze kleine modellen echt te kunnen vertrouwen, moeten systemen controleren of de informatie binnen het antwoord overeenkomt met de oorspronkelijke tekst. De onderzoekers concludeerden dat de beste aanpak is om eerst eenvoudige, automatische hulpmiddelen te gebruiken om de formattering en de structuur te herstellen, aangezien dit de meeste problemen gratis oplost. Pas daarna moet het systeem de computer vragen om het opnieuw te proberen, en zelfs dan moet het verifiëren dat het nieuwe antwoord echte feiten bevat, en niet alleen een perfect uitziende schil. Dit werk laat zien dat hoewel kleine modellen veel betrouwbaarder gemaakt kunnen worden met een beetje nabewerking, het doel om accurate informatie te extraheren een uitdaging blijft die controle van de inhoud vereist, niet alleen van de vorm.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.