Hallucination Detection Using Evidence Retrieval and Natural Language Inference
Dit artikel introduceert TruthLens, een op bewijsvoering gebaseerde pipeline die hallucinaties in reacties van grote taalmodellen detecteert door individuele beweringen te extraheren, bewijs op te halen via een hybride BM25- en MiniLM-aanpak, en deze te verifiëren met een DeBERTa-v3 NLI-model, waarbij een matige nauwkeurigheid wordt bereikt op de FEVER-dataset terwijl beperkingen in generalisatie en bewijskovendheid worden benadrukt.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In het uitgestrekte landschap van de moderne kunstmatige intelligentie zijn grote taalmodellen opmerkelijk vaardig geworden in het schrijven. Ze kunnen vloeiende essays componeren, complexe vragen beantwoorden en coherente verhalen vertellen met een zelfverzekerdheid die vaak niet te onderscheiden is van menselijke expertise. Toch schuilt er onder dit gepolijste oppervlak een hardnekkig gebrek: deze systemen genereren soms verklaringen die plausibel klinken, maar feitelijk onjuist, ononderbouwd of volledig verzonnen zijn. Dit fenomeen, bekend als hallucinatie, vormt een aanzienlijke uitdaging omdat één enkel antwoord een mix kan bevatten van ware feiten en valse informatie. Als een systeem een volledig antwoord simpelweg als "fout" of "goed" labelt, mist het de nuance van welke specifieke delen betrouwbaar zijn. Om dit op te lossen, richten onderzoekers zich op een methode van verificatie waarbij elke zin als een afzonderlijke bewering wordt behandeld, die wordt gecontroleerd tegen een bibliotheek van bekende feiten om te zien of het bewijs de stelling ondersteunt, tegenspreekt of simpelweg niet adresseert.
Een team van onderzoekers aan het Indian Institute of Technology Roorkee heeft een prototype systeem gebouwd genaamd TruthLens om dit probleem aan te pakken. In plaats van te gokken of een antwoord waar is, werkt TruthLens als een nauwgezet factchecker die een lang antwoord afbreekt in individuele zinnen. Voor elke zin doorzoekt het systeem een enorme digitale tekstbibliotheek om relevante passages te vinden. Het gebruikt twee verschillende strategieën om deze passages te vinden: de ene zoekt naar exacte woordovereenkomsten, terwijl de andere de betekenis achter de woorden begrijpt, zelfs als de formulering anders is. Het systeem combineert vervolgens de resultaten van deze twee zoekopdrachten om de meest waarschijnlijke kandidaat-bewijslast te selecteren. Ten slotte gebruikt het een gespecialiseerd taalmodel om de oorspronkelijke bewering te vergelijken met het gekozen bewijs, waarbij het beslist of het bewijs de bewering bewijst, ontkracht of de vraag onbeantwoord laat.
De onderzoekers testten deze aanpak met een dataset van bijna twintig duizend voorbeelden afkomstig uit een standaard benchmark voor fact-checking. Eerst maten ze hoe goed hun systeem in staat was om het juiste bewijs te vinden. Wanneer ze alleen de zoekopdracht op basis van woordovereenkomst gebruikten, vond het systeem het juiste bewijs in ongeveer de helft van de gevallen. Bij gebruik van de betekenisgebaseerde zoekopdracht verbeterde het iets. Echter, toen ze beide methoden combineerden, vond het systeem in 56,51% van de gevallen bij de eerste poging het relevante bewijs, en in meer dan 65% van de gevallen als het naar de top vijf of tien suggesties keek. Deze hybride aanpak bleek de meest effectieve manier om potentieel bewijs te verzamelen, wat aantoont dat vertrouwen op slechts één zoekmethode niet voldoende is om alle noodzakelijke informatie te vatten.
Zodra het systeem het beste bewijs had gevonden, moest het beslissen wat dat bewijs betekende. De onderzoekers testten verschillende configuraties om te zien welke opstelling de meest nauwkeurige oordelen produceerde. Ze ontdekten dat het voeden van het enkele beste stuk bewijs aan het verificatiemodel beter werkte dan het aggregeren van meerdere stukken bewijs. Op een aparte set van tweeduizend voorbeelden die het systeem nog nooit eerder had gezien, classificeerde deze laatste opstelling de beweringen in 62,25% van de gevallen correct. Hoewel dit een solide prestatie is voor een prototype, lieten de resultaten ook zien waar het systeem moeite mee heeft. Het model was bijzonder goed in het identificeren wanneer een bewering werd ondersteund of tegengesproken, maar vond het moeilijk om te onderscheiden of een bewering simpelweg niet werd ondersteund door de beschikbare tekst of dat deze daadwerkelijk onwaar was. In deze onzekere gevallen aarzelde het systeem vaak en labelde het deze als "onbekend" in plaats van een definitief oordeel te vellen.
De studie onthulde ook dat het succes van het systeem nauw verbonden is met de kwaliteit en de reikwijdte van het bewijs dat het kan raadplegen. De onderzoekers merkten op dat hun prototype steunt op een specifieke, beperkte collectie tekst, en het kan geen claims verifiëren over gebeurtenissen of feiten die niet binnen die bibliotheek bestaan. Bovendien faalt het systeem soms wanneer een claim het verbinden van meerdere stukken informatie vereist of het oplossen van verwijzingen zoals voornaamwoorden, wat de zin-voor-zin analyse kan verwarren. In een poging te testen of hun methode kon werken op een ander type dataset ontworpen voor algemene vraagbeantwoording, ontdekten de onderzoekers dat het systeem niet goed overdraagbaar was, wat suggereert dat de instrumenten gebouwd voor één specifiek type fact-checking taak niet universeel werken zonder significante aanpassingen.
Uiteindelijk demonstreert TruthLens dat het mogelijk is om een pipeline te bouwen die AI-antwoorden afbreekt en ze controleert tegen een database van feiten, maar het legt ook de grenzen van de huidige technologie bloot. Het systeem is geen toverstaf die instantaan de absolute waarheid van elke bewering kan onthullen; het is eerder een hulpmiddel dat laat zien wat geverifieerd kan worden op basis van het beschikbare bewijs. Het identificeert succesvol wanneer een bewering wordt ondersteund of tegengesproken door de tekst die het kan vinden, maar het geeft ook eerlijk toe wanneer het bewijs ontbreend of onvoldoende is. De onderzoekers concluderen dat hoewel hun hybride retrieval- en verificatiemethode werkt, de grootste hindernissen nog steeds liggen in het afhandelen van complexe redeneringen, het oplossen van onduidelijke verwijzingen en het uitbreiden van het vermogen van het systeem om over verschillende soorten data te werken. Voor nu dient het systeem als een functioneel prototype dat een blik werpt op hoe machines ooit mensen kunnen helpen navigeren door de vloedgolf aan informatie, mits we onthouden dat het uiteindelijke oordeel nog steeds menselijk toezicht vereist.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.