I'm Sorry Driver, I'm Afraid I Can't Do That: Appraising the Safety of LLMs within Automotive Contexts

Technische Samenvatting: Beoordeling van de Veiligheid van LLM's binnen Automobielcontexten

Probleemstelling
Het artikel behandelt de kritieke uitdagingen voor veiligheidsborging die voortvloeien uit de integratie van Large Language Models (LLM's) in automotive controlesystemen. Hoewel LLM's snel worden geadopteerd voor taken variërend van infotainment tot real-time besluitvorming en autonome besturing, worstelen huidige veiligheidskaders met het accommoderen ervan. De auteurs identificeren een "dubbele uitdaging" voor implementeerders: zij moeten modellen waarborgen die upstream door grote AI-labs zijn ontwikkeld als algemene doel-AI (GPAI), binnen specifieke, veiligheidskritische downstream voertuigarchitecturen.

Het kernprobleem is dat bestaande standaarden (bijv. ISO 26262, ISO 21448) en opkomende richtlijnen (ISO/PAS 8800) onvoldoende zijn om de unieke faalmodi van LLM's aan te pakken. Specifiek benadrukt het artikel twee kritieke hiaten:

1. Waarde-alignement (Value Alignment): De moeilijkheid om te garanderen dat LLM-gedrag overeenstemt met menselijke intentie en veiligheidswaarden, een concept dat vaag is in de literatuur en schaars wordt behandeld in standaarden.
2. Latentie (Latency): De technische beperking van real-time respons, waarbij de inferentietijden van LLM's de vereiste tijdslimieten voor veilige voertuigactuatie kunnen overschrijden.

Methodologie
De auteurs stellen een gestructureerd veiligheidsargumentatiepatroon voor, gebaseerd op Goal Structuring Notation (GSN), om de veiligheid van LLM-ondersteurd rijden te evalueren. Dit argument deelt de hoogste claim van veiligheid op in specifieke gevaarlijke gebeurtenissen, waarbij de focus ligt op:

• Vertraagde sturing door waarde-misalignement (ter adressering van ISO/PAS 8800 vereisten).
• Vertraagde sturing door latentie (ter adressering van ISO 21448 vereisten).

Om dit theoretische kader te onderbouwen, presenteert het artikel een experimentele casestudy met behulp van de open-source repository Talk2Drive. In deze opzet:

• Architectuur: Spraak van de bestuurder wordt getranscribeerd door Whisper (Speech-to-Text), geïnterpreteerd door een LLM via scenario-specifieke prompts, en omgezet in uitvoerbare shell-commando's om het voertuig aan te sturen.
• Geteste Modellen: Vier LLM's werden onder identieke omstandigheden getest: GPT-3.5 Turbo, GPT-5.2, Gemini 3 Flash Preview en Claude Opus 4.5.
• Procedure: Het systeem werd getest met 30 gestandaardiseerde spraakcommando's over drie scenario's (snelweg, kruispunt, parkeren). Prestaties werden gemeten via end-to-end latentie, transcriptiekwaliteit (Word Error Rate) en "script match" (overeenkomst met een deterministische keyword-baseline, niet met de grondwaarheid).

Belangrijkste Bijdragen

1. Kritische Beoordeling: Een systematische evaluatie van de integratie van LLM's in kritieke automotive systemen, waarbij onderscheid wordt gemaakt tussen upstream (modelcapaciteit) en downstream (implementatiecontext) borgingsuitdagingen.
2. Veiligheidsargumentatiepatroon: Een reproduceerbaar GSN-gebaseerd framework voor het beoordelen van de beperkingen van huidige State-of-the-Art LLM's in voertuigarchitecturen, waarbij gevaren expliciet worden gekoppeld aan bestaande standaarden (ISO/PAS 8800 en ISO 21448).
3. Experimentele Evaluatie: Empirisch bewijs dat specifieke gevaarlijke faalmodi (latentie en alignment) vertoont in een end-to-end spraakgestuurde sturingspipeline.

Resultaten
De casestudy onthulde significante barrières voor de veilige implementatie van huidige LLM's in real-time automotive contexten:

• Latentieproblemen: De end-to-end latentie werd gedomineerd door de LLM-fase. Terwijl sommige modellen (bijv. GPT-3.5 Turbo) een gemiddelde latentie hadden van rond de 1,8 seconden, vertoonden "reasoning" modellen (bijv. Gemini 3 Flash Preview) een problematische "response tail", met maximale latenties die de 100 seconden overschreden. Dit maakt dergelijke modellen ongeschikt voor de gebonden respons-actuatie die vereist is voor functionele veiligheid.
• Fouten in Waarde-alignement: De studie observeerde significante "weigeringsgedragingen" (refusal behaviors) en alignment-fouten. Bijvoorbeeld, wanneer geprompt werd met "Stop hier alsjeblieft", reageerde een model met: "Sorry, ik kan u niet bij deze vraag helpen." Dit demonstreert een spanning tussen upstream veiligheidsrestricties (overmatige weigering) en downstream functionele veiligheidseisen.
• Inconsistentie: De "script match" ratio's met de baseline varieerden van 56,7% tot 70,0%, wat aangeeft dat zelfs "presterende" modellen frequent afwijken van de verwachte controlebeleid.
• Onvolledigheid van het Argument: De experimentele data toonden aan dat huidige oplossingen voor latentie (G3) en waarde-alignement (G2) binnen het voorgestelde veiligheidsargument incompleet zijn. Specifiek dekken bestaande standaarden de mitigatie van deze specifieke LLM-geïnduceerde faalmodi niet adequaat af.

Betekenis en Claims
Het artikel claimt bescheiden een framework te bieden voor het waarborgen van bestaande voorstellen, in plaats van een nieuwe architectuur voor te stellen. De primaire betekenis ligt in:

• Het Benadrukken van de Borgingskloof: Het demonstreert expliciet dat huidige veiligheidsstandaarden en engineeringpraktijken incompleet zijn wanneer ze worden toegepast op algemene AI in veiligheidskritische automotive contexten.
• Het Definiëren van de Omvang van het Risico: Het identificeert dat kwesties zoals latentie en waarde-misalignement niet louter theoretisch zijn, maar observeerbare, operationele barrières die de veilige integratie van LLM's in real-time control loops verhinderen.
• Toekomstige Richting: De auteurs betogen dat hoewel de technische integratie van LLM's wordt verkend, de veiligheidsgemeenschap nieuwe borgingsmechanismen moet ontwikkelen om gevaren gerelateerd aan alignment en latentie te behandelen voordat deze systemen als veilig voor implementatie kunnen worden beschouwd. Het artikel concludeert dat de huidige state-of-the-art onvoldoende is voor real-time besturing, wat verder onderzoek naar robuuste evaluatie- en mitigatiestrategieën noodzakelijk maakt.