Quantifying Uncertainty in LLM-Extracted Causal Relations for Safety-Critical Decision Support
Dit onderzoek stelt een uitgebreid kader voor en evalueert dit, dat onzekerheid kwantificeert in door LLM's geëxtraheerde causale relaties uit veiligheidskritische narratieven met behulp van multi-bron-signalen en conformal voorspelling, waarbij wordt aangetoond dat gekalibreerde betrouwbaarheidsinschattingen de extractieprecisie aanzienlijk verbeteren en kosteneffectieve deskundige triage mogelijk maken voor betrouwbare, risico-geïnformeerde besluitvorming.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de hooggespannen wereld van kernenergie, luchtvaartveiligheid en de monitoring van medische apparatuur, vertrouwen experts op schriftelijke rapporten om te begrijpen wat er misging wanneer er defecten optreden. Deze documenten, vaak gebeurtenisrapporten genoemd, zijn gevuld met complexe verhalen over mechanische defecten en menselijke fouten. Decennialang was de enige manier om de verborgen oorzaken binnen deze duizenden pagina's te vinden, het laten lezen van elk woord door menselijke experts, een traag en kostbaar proces. Onlangs hebben krachtige computerprogramma's, bekend als large language models, aangetoond dat ze deze rapporten kunnen lezen en automatisch de oorzaak-gevolgrelaties kunnen extraheren, zoals het identificeren dat het falen van een specifieke klep leidde tot een drukpiek. Dit belooft de veiligheidsverbeteringen drastisch te versnellen. Echter, een groot probleem heeft het gebruik ervan in de weg gestaan: deze computerprogramma's handelen alsof ze altijd zeker zijn. Ze presenteren een ontdekte oorzaak als een feit, zelfs wanneer de tekst vaag is of de computer aan het gissen is. In veiligheidskritische velden kan het handelen naar een gok leiden tot verspilde middelen of, erger nog, gemiste gevaren. De kernuitdaging is niet alleen het vinden van de antwoorden, maar weten wanneer de computer zelfverzekerd genoeg is om vertrouwd te worden.
Een onderzoeker zette zich af om dit probleem op te lossen door deze computerprogramma's te leren toe te geven wanneer ze onzeker zijn. Zij ontwikkelde een nieuw systeem dat specifiek is ontworpen voor rapporten van kerncentrales om te meten hoe zelfverzekerd de computer werkelijk is over elke oorzaak-gevolgcombinatie die hij vindt. In plaats van alleen maar een lijst met feiten uit te spugen, koppelt het nieuwe systeem een betrouwbaarheidsscore aan elk van hen, waardoor een menselijke operator kan bepalen of hij de bevinding onmiddellijk kan accepteren of deze moet markeren voor een tweede blik door een menselijke expert. De onderzoeker testte deze aanpak met behulp van een grote collectie echte gebeurtenisrapporten van kerncentrales. Zij ontdekten dat door verschillende manieren van het controleren van het werk van de computer te combineren, zij een betrouwbare "onzekerheidsscore" konden creëren. Deze score maakte succesvol onderscheid tussen de correcte gissingen van de computer en zijn fouten, waarbij hij de beoordeling van menselijke experts bijna even goed evenaarde als de experts onderling met elkaar overeenkwamen.
De studie onthulde dat het vertrouwen van de computer niet één enkel gevoel is, maar het resultaat van het controleren van het eigen werk op meerdere manieren. De onderzoeker bouwde een pijplijn die het interne vertrouwen van de computer bekijkt, de computer vraagt om hetzelfde rapport tien keer te lezen om te zien of hij hetzelfde antwoord geeft, en de resultaten vergelijkt van drie verschillende versies van de computer die afzonderlijk zijn getraind. Zij gebruikten ook een statistische methode om te garanderen dat de betrouwbaarheidsscores wiskundig solide zijn. Wanneer zij al deze signalen combineerden, werd het systeem zeer goed in het sorteren van de resultaten. De computer kon een groep bevindingen identificeren die vrijwel zeker correct waren, terwijl de rommelige, verwarrende gevallen die menselijke aandacht vereisten, werden geïsoleerd. In tests was het systeem in staat om 82 procent van de fouten van de computer te identificeren binnen de eerste 20 procent van de gereviewde rapporten, terwijl een willekeurige controle slechts 24 procent van de fouten in diezelfde hoeveelheid tijd zou hebben gevonden.
Dit vermogen om de betrouwbare van de onbetrouwbare te sorteren heeft een directe impact op hoe veiligheidsmodellen worden bijgewerkt. Toen de onderzoeker de bevindingen van de computer in een risicomodel invoerde, merkte zij dat het gebruik van uitsluitend de bevindingen met een hoog vertrouwen leidde tot een veel nauwkeuriger beeld van gevaar dan het gebruik van alle resultaten of het kiezen van resultaten op basis van een willekeurige selectie. Door de onzekere gissingen weg te filteren, was het bijgewerkte risicomodel bijna twee keer zo nauwkeurig als een model gebouwd uit een willekeurige selectie van bevindingen. De studie toonde aan dat de onzekerheidsscores van de computer bijzonder goed waren in het signaleren van moeilijke gevallen, zoals wanneer de oorzaak eerder geïmpliceerd dan direct benoemd was, of wanneer het rapport een keten van gebeurtenissen beschreef die over vele zinnen verspreid was. Dit zijn precies de situaties waar menselijke experts nodig zijn, en het systeem identificeerde deze succesvol voor beoordeling.
Het onderzoek toont aan dat we niet hoeven te kiezen tussen de snelheid van automatisering en de veiligheid van menselijk toezicht. Door deze computerprogramma's een manier te geven om hun onzekerheid uit te drukken, kunnen we hen gebruiken om het grootste deel van het werk af te handelen, terwijl we menselijke experts richten op de specifieke gevallen waar hun oordeel het meest waardevol is. De bevindingen suggereren dat deze aanpak het proces van het bijwerken van veiligheidsmodellen sneller en betrouwbaarder kan maken, waardoor wordt gewaarborgd dat de lessen geleerd uit het verleden correct worden geïntegreerd. Het werk beweert niet dat de computer nu perfect is of dat hij de fysica van een kerncentrale begrijpt, maar eerder dat hij heeft geleerd de grenzen van zijn eigen begrip te herkennen. Dit onderscheid is wat de technologie in staat stelt om van een theoretisch hulpmiddel over te gaan naar een praktische partner voor veiligheidsprofessionals, door een duidelijk signaal te geven van wanneer men de machine moet vertrouwen en wanneer men een mens moet inschakelen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.