Assessment of AI-Generated HARA in Automotive Functional Safety
Deze studie evalueert de capaciteit van vier algemene AI-tools om ISO 26262 functionele veiligheidstechniek te ondersteunen door hun Hazard Analysis and Risk Assessment (HARA) outputs te vergelijken, waarbij wordt onthuld dat hoewel AI een veelbelovende aanvulling biedt op veiligheidsprocessen, de implementatie ervan strikte controle vereist met betrekking tot traceerbaarheid, betrouwbaarheid en naleving van regelgeving.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de moderne auto gaat veiligheid niet langer alleen over sterk staal en airbags; het gaat over de onzichtbare logica die een voertuig ervan weerhoudt de passagiers schade toe te brengen. Ingenieurs vertrouwen op een rigoureus proces genaamd hazardanalyse om zich voor te stellen op elke manier waarop een systeem zou kunnen falen, van een rem die niet loslaat tot een sensor die een spook ziet. Vervolgens wijzen ze een risiconiveau toe aan elk potentieel defect, waarbij ze beslissen hoe strikt het systeem gebouwd moet worden om letsel te voorkomen. Dit proces is de ruggengraat van de automotive veiligheid, een discipline die zo serieus is dat deze haar eigen internationale regelboek heeft. Nu kunstmatige intelligentie code begint te schrijven en systemen voor auto's begint te ontwerpen, is er een kritische vraag ontstaan: kan een machine, getraind op enorme hoeveelheden menselijke tekst, dit hoogwaardige denkwerk voor ons uitvoeren? Kan een kunstmatige intelligentie naar een beschrijving van een auto-onderdeel kijken en correct identificeren wat er mis zou kunnen gaan, en vervolgens beslissen hoe gevaarlijk die fout zou zijn?
Twee onderzoekers van een groot automotive engineeringbedrijf zetten zich af om dit idee te testen. Ze verzamelden vier verschillende kunstmatige intelligentietools, variërend van assistenten die ingebouwd zijn in standaard kantoorsoftware tot gespecialiseerde modellen die ontworiment voor complexe probleemoplossing. Ze gaven elk hulpmiddel exact dezelfde set documenten die een specifiek auto-veiligheidssysteem beschrijven: hoe het voertuig bedoeld is te werken, de omstandigheden waaronder het functioneert, en de scenario's waarin het gebruikt kan worden. Ze vroegen de machines om als veiligheidsexperts op te treden en een hazardanalyse te produceren, een document dat elke mogelijke fout opsomt en de gevaren beoordeelt. Om te zien of de instructies uitmaakten, probeerden ze twee verschillende manieren van vragen: de ene was een gedetailleerd, stapsgewijs gesprek waarbij de AI de opdracht kreeg een specifieke professionele rol aan te nemen, en de andere was een enkele, directe opdracht om de taak uit te voeren.
De resultaten toonden aan dat hoewel de machines de gevraagde documenten konden produceren, de kwaliteit van hun denken inconsistent was. Elk hulpmiddel genereerde een lijst met veiligheidsdoelen, wat de regels op hoog niveau zijn die bedoeld zijn om ongelukken te voorkomen, maar de lijsten zagen er zeer verschillend uit van elkaar. Wanneer de onderzoekers de outputs vergeleken, ontdekten ze dat slechts één specifiek veiligheidsdoel in elke lijst voorkwam: de noodzaak om te voorkomen dat de airbags uitklappen wanneer ze dat niet zouden moeten doen. Voor de rest waren de tools het oneens. De ene machine identificeerde een specifieke foutmodus die een andere volledig miste, of beschreef hetzelfde probleem op een manier die te vaag was om nuttig te zijn. Dit gebrek aan overeenstemming betekent dat als een ingenieur vertrouwt op slechts één van deze tools, hij een kritiek gevaar kan missen simpelweg omdat die specifieता machine niet had nagedacht om ernaar te kijken.
De inconsistentie werd nog duidelijker toen de tools probeerden een risicobeoordeling toe te kennen aan de problemen die ze vonden. In de wereld van auto-veiligheid bepalen deze beoordelingen hoeveel inspanning en testen een systeem vereist. Voor het ene veiligheidsdoel waar alle vier de tools het over eens waren, varieerden hun risicobeoordelingen echter enorm. Eén tool beoordeelde het gevaar als matig, terwijl een andere het als het hoogst mogbare risiconiveau beoordeelde. Dit verschil is significant, omdat een verschil van één niveau in de beoordeling het hele ontwikkelingsproces kan veranderen, wat meer dure componenten of strengere tests vereist. De studie onthulde ook dat de manier waarop de vraag gesteld werd, het antwoord veranderde. Wanneer de onderzoekers de tools een eenvoudige, eenzinnige instructie gaven, neigden de machines naar hogere risicobeoordelingen dan wanneer ze een meer gedetailleerde, conversationele aanpak gebruikten. Dit suggereert dat de AI niet het risico berekent op basis van een vaste interne waarheid, maar reageert op de toon en structuur van de prompt.
Misschien wel de meest veelzeggende bevinding was hoe de machines worstelden met het zelf formuleren van de veiligheidsdoelen. Een goed veiligheidsdoel moet geschreven zijn op een specifiek detailniveau: het moet vermelden wat men moet vermijden zonder te verstrikt te raken in de technische details van hoe het opgelost moet worden. De onderzoekers stelden vast dat de meeste door AI gegenereerde doelen onjuist waren geschreven. Veel waren te gedetailleerd en klonken als instructies voor een specifiek onderdeel in plaats van een algemene regel voor het hele systeem. Andere waren te vaag en slaagden er niet in om de fout duidelijk te koppelen aan het gevaar. In verschillende gevallen verwarden de tools het hoogwaardige veiligheidsdoel met de lager gelegen technische vereisten, waarbij ze de "wat" met de "hoe" verwisselden. Dit geeft aan dat hoewel de machines de taal van de safety engineering kunnen imiteren, ze het conceptuele verschil tussen een regel en een specificatie nog niet volledig begrijpen.
Ondanks deze gebreken suggereert de studie niet dat kunstmatige intelligentie nutteloos is voor veiligheidswerk. De tools waren in staat om een breed scala aan ideeën te genereren en potentiële gevaren te identificeren die een menselijke ingenieur ook zou kunnen overwegen. De onderzoekers concludeerden dat deze machines als een nuttig startpunt kunnen dienen, een manier om een eerste concept te brainstormen of om te controleren of een menselijk team een overduidelijk scenario heeft over het hoofd gezien. De output kan echter niet op zichzelf worden vertrouwd. Omdat de tools het oneens zijn over wat de risico's zijn, hoe gevaarlijk ze zijn en hoe de regels te schrijven om ze te voorkomen, moet een menselijke expert elke regel controleren. De kunstmatige intelligentie kan een vonk van inzicht bieden, maar in de hoogwaardige wereld van het veilig houden van mensen in bewegende voertuigen, moet het uiteindelijke oordeel stevig in menselijke handen blijven.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.