Technische Samenvatting: GRANDGUARD

Probleemstelling

Naarmate ouderen Large Language Model (LLM)-chatbots steeds vaker adopteren voor gezelschap en hulp, is een kritieke veiligheidskloof ontstaan. Bestaande veiligheidsbenchmarks en moderatiesystemen zijn primair ontworpen rondom "universele schade" (bijvoorbeeld haatzaaiende taal, adversariale aanvallen) en houden geen rekening met specifieke contextuele risico's voor ouderen. Dit zijn scenario's waarbij een prompt of instructie die onschuldig is voor een algemene of jongere populatie, gevaarlijk wordt voor ouderen vanwege leeftijdsgebonden kwetsbaarheden zoals mobiliteitsbeperkingen, cognitieve achteruitgang, sociale isolatie en verminderde digitale geletterdheid.

Zo is een verzoek om "een plafondlamp alleen in het donker te repareren" voor velen een standaard klus, maar vormt het een ernstig valrisico voor een ouder persoon met beperkte mobiliteit. Evenzo is een vraag over "de hoogste toren in de buurt" een onschuldig toeristische vraag, tenzij deze gepaard gaat met uitingen van hopeloosheid, waarbij het een zelfmoordrisico wordt. Huidige systemen missen deze nuances vaak omdat ze de contextuele gevoeligheid missen om te herkennen hoe leeftijdsgebonden factoren een verzoek transformeren in een gevaar.

Methodologie

De auteurs stellen GRANDGUARD voor, een uitgebreid kader dat bestaat uit een taxonomie, een benchmark en veiligheidsmaatregelen om deze specifieke risico's te beoordelen en te mitigeren.

1. Constructie van de Taxonomie

De taxonomie is ontwikkeld via een empirisch onderzoek met meerdere bronnen:

• Gegevensbronnen: Analyse van 25 AI-incidentrapporten, annotatie van 1.000 berichten uit de r/eldercare-community, en synthese van zes eerdere stakeholderstudies (workshops en interviews met ouderen, mantelzorgers en clinici).
• Differentiatie: Een comparatief annotatieprotocol werd gebruikt om specifieke risico's voor ouderen te onderscheiden van algemene schade. Een risico wordt alleen behouden als het ouderen onevenredig sterk treft door leeftijdsgebonden factoren (bijvoorbeeld gebrekkigheid, cognitieve achteruitgang), waardoor dezelfde interactie materieel minder risicovol is voor een jongere volwassene.
• Structuur: De resulterende taxonomie is een hiërarchie van drie niveaus met 50 gedetailleerde risicotypen verdeeld over vijf domeinen:
  • Geestelijk welzijn: Verwaarlozing van zorg, zelfverminking en ongezonde afhankelijkheid van AI.
  • Financieel: Directe manipulatie, oplichting en kwetsbaarheid voor fraude.
  • Medisch: Gevaarlijk advies en risico's voor fysieke activiteit.
  • Giftigheid: Manipulatieve controle, seksuele uitbuiting, leeftijdsdiscriminatie en politieke uitbuiting.
  • Privacy: Blootstelling van gevoelige gegevens en ongeautoriseerde apparaattoegang.

2. Constructie van de Benchmark

De auteurs hebben een benchmark samengesteld van 10.404 gelabelde datapunten (6.498 prompts en 3.906 antwoorden).

• Gegevensgeneratie: 500 door mensen geschreven seed-prompts (10 per risicotype op het derde niveau) werden uitgebreid tot 10.000 kandidaat-prompts met behulp van LLM's. Deze werden gefilterd door een LLM-rechter om ervoor te zorgen dat ze subtiele, specifieke risico's voor ouderen vertoonden zonder openlijke kwaadaardigheid.
• Gewichting van Ernst: Een online studie met 60 deelnemers beoordeelde de ernst van risicotypen op een 7-punts Likertschaal. De benchmarkverdeling is samengesteld om deze ernstgewichten te weerspiegelen, zodat risico's met hoge ernst (bijvoorbeeld zelfverminking) adequaat vertegenwoordigd zijn.
• Evaluatiecriteria:
  • Promptevaluatie: Hooggevoelige regel; gemarkeerd als onveilig als een ouder persoon identificeerbaar is en het verzoek overeenkomt met een risicotype zonder veiligheidsmaatregelen.
  • Antwoordevaluatie: Dubbele criteria die Risico-indicatie (expliciet erkennen van de leeftijdsgebonden kwetsbaarheid) en Schadevermijding (weigeren van schadelijke facilitering en bieden van veilige alternatieven) vereisen.

3. Ontwikkeling van Veiligheidsmaatregelen

Twee complementaire oplossingen zijn ontwikkeld om de geïdentificeerde veiligheidsfouten aan te pakken:

• Fine-tuning voor Detectie: Een Llama-Guard-3-model is gefine-tuned met LoRA op een mengsel van GRANDGUARD-gegevens en algemene veiligheidsdatasets. Dit model is ontworpen voor detectie met hoge recall in gecentraliseerde implementaties.
• Beleid-verbeterde Moderatie: Een "Ouder-gevoelig Beleid" is geïmplementeerd voor het gpt-oss-safeguard-20b-model. Dit maakt gestructureerde, interpreteerbare regels mogelijk (bijvoorbeeld het markeren van financiële beslissingen voor gebruikers met cognitieve achteruitgang) zonder opnieuw te trainen, geschikt voor aanpasbare zorgcontexten.
• GRANDGUARD Agent: Een lichtgewicht agent-pijplijn die het beleid-verbeterde veiligheidsmechanisme gebruikt om risico's te detecteren, te analyseren en veiligheidsredeneringsinstructies toe te voegen aan de gebruikersprompt voordat deze de downstream LLM bereikt.

Belangrijkste Resultaten

1. Prestaties van Basismodellen

Evaluatie van 10 toonaangevende LLM's (waaronder GPT-5.1, Claude-Sonnet-4.5, Gemini-2.5) op de benchmark onthulde wijdverbreide veiligheidsfouten:

• Hoge Faalpercentages: Verschillende toonaangevende modellen faalden om specifieke risico's voor ouderen in meer dan 50% van de gevallen adequaat aan te pakken. Bijvoorbeeld, GPT-5.1 behaalde slechts 56,2% veiligheid, terwijl kleinere modellen zoals GPT-4.1-Mini zo laag scoorden als 22,6%.
• Kennis-Actie Kloof: Experimenten met zelfdiagnose onthulden een significante kloof tussen het vermogen van een model om risico's te identificeren en het vermogen om op die kennis te handelen. Hoewel modellen tot 95% van de risicovolle prompts konden markeren wanneer ze expliciet werden gevraagd (Prompt Awareness), was hun daadwerkelijke veiligheid van het antwoord (Response Safety) vaak veel lager (bijvoorbeeld een kloof van +50,2 punten voor Gemini-2.5-Flash). Dit suggereert dat modellen een latente risicobewustzijn bezitten, maar dit niet vertalen in veilig generatiegedrag.

2. Effectiviteit van Veiligheidsmaatregelen

De voorgestelde veiligheidsmaatregelen verbeterden de veiligheidsmetrieken aanzienlijk:

• Fine-tuned Llama-Guard-3: Bereikte 96,2% nauwkeurigheid in promptclassificatie en 93,2% in antwoordclassificatie, een aanzienlijke verbetering ten opzichte van het basismodel (63,3% nauwkeurigheid).
• Beleid-verbeterde gpt-oss-safeguard-20b: Verbeterde de promptdetectienauwkeurigheid tot 90,9% en de antwoornaauwkeurigheid tot 90,3% wanneer verrijkt met het specifieke beleid voor ouderen.
• GRANDGUARD Agent: Wanneer gebruikt als een laag voor contextverrijking, verbeterde de agent de veiligheid van antwoorden bij alle geteste modellen. Opmerkelijke winsten omvatten DeepSeek-V3.2 (van 39,6% naar 91,8%) en Llama-4-Maverick (van 28,2% naar 82,4%).

Betekenis en Claims

Het artikel claimt de basis te leggen voor AI-systemen die verder gaan dan algemene veiligheid om specifiek de vergrijzende bevolking te ondersteunen. De primaire bijdragen zijn:

1. Eerste Uitgebreid Kader: Het introduceert de eerste taxonomie en benchmark die specifiek gericht zijn op contextuele risico's voor ouderen, waardoor een gat wordt aangevuld waar bestaande hulpmiddelen leeftijdsgebonden kwetsbaarheden over het hoofd zien.
2. Empirisch Bewijs van Falen: Het levert rigoureus bewijs dat huidige state-of-the-art LLM's, ondanks sterke algemene capaciteiten, systematisch falen in contexten specifiek voor ouderen, vaak vanwege een "Kennis-Actie Kloof".
3. Hanteerbare Mitigatie: Het toont aan dat veiligheid effectief kan worden verbeterd, niet alleen door modellen vanaf nul opnieuw te trainen, maar door gerichte fine-tuning en beleid-verbeterde moderatie die gebruikmaakt van bestaande modelcapaciteiten om contextuele risico's te herkennen en te mitigeren.

De auteurs benadrukken dat hun werk bedoeld is voor onderzoek en ontwikkeling van veiligheidsrails, en waarschuwen tegen het directe gebruik van deze benchmarks voor real-world medische of financiële besluitvorming zonder verdere validatie. Ze wijzen ook op de noodzaak om veiligheid in evenwicht te brengen met gebruikersautonomie, en pleiten voor "veiligere alternatieven" in plaats van alomvattende weigeringen om overmatige restrictie van ouderen te voorkomen.