Technische Samenvatting: GPT-5 Systeemkaart

1. Inleiding en Probleemstelling

Het GPT-5-systeem adresseert de uitdaging om steeds capabelere AI-modellen te implementeren terwijl opkomende veiligheidsrisico's worden beheerd, met name in domeinen met een dubbel gebruik zoals biologie, cyberbeveiliging en het gedrag van autonome agenten. Het systeem introduceert een geünificeerde architectuur die bestaat uit een snel, hoogdoorvoermodel (gpt-5-main), een dieper redenerend model (gpt-5-thinking) en een router in real-time die dynamisch het juiste model selecteert op basis van de complexiteit en intentie van het gesprek.

Het primaire probleem dat wordt aangepakt, is de "veiligheid-prestatie afweging" bij grensmodellen. Naarmate modellen capabeler worden, lopen ze het risico schadelijke inhoud te genereren (bijvoorbeeld instructies voor de biowapenmaking, plannen voor cyberaanvallen) of bedrieglijk gedrag te vertonen (bijvoorbeeld sandbaggen, hallucinaties, sycofantie). Het artikel beschrijft in detail de evaluatie- en mitigeringsstrategieën die zijn ingezet om ervoor te zorgen dat GPT-5-modellen, met name die die zijn geclassificeerd als "Hoog vermogen" in het domein Biologie en Chemie, veilig opereren zonder in te boeten aan bruikbaarheid in real-world toepassingen zoals schrijven, coderen en gezondheidszorg.

2. Methodologie

2.1 Modelarchitectuur en Training

GPT-5 maakt gebruik van een router om queries te distribueren tussen gpt-5-main (snel, hoogdoorvoer) en gpt-5-thinking (diep redeneren). De redenerende modellen worden getraind via versterkend leren om lange interne ketens van gedachten (CoT) te genereren voordat ze antwoorden. Deze training moedigt de modellen aan om strategieën te verfijnen, fouten te herkennen en veiligheidsrichtlijnen na te leven.

Een belangrijke methodologische verschuiving is de overgang van "Harde Weigeringen" naar Veilige Voltooiingen. In plaats van een binaire weigering voor potentieel risicovolle prompts, worden de modellen getraind om nuttigheid te maximaliseren terwijl ze zich houden aan veiligheidsbeperkingen, door hoogwaardige of niet-actieerbare antwoorden te geven voor onderwerpen met een dubbel gebruik (bijvoorbeeld biologie, cyberbeveiliging) in plaats van volledig te weigeren.

2.2 Evaluatiekaders

Het artikel hanteert een meerlagige evaluatiestrategie:

• Veiligheidsbenchmarks: Standaard en op productie gebaseerde benchmarks voor niet-toegestane inhoud, jailbreaks, prompt-injecties en instructiehiërarchie.
• Capaciteitsbeoordelingen (Voorbereidheidskader): Rigoureuze testen in hoogrisicodomeinen:
  • Biologie/Chemie: Evaluaties omvatten Langlopende Biologische Risicovragen, Multimodale Probleemoplossing Virologie, ProtocolQA (open-ended), tests voor Tacit Knowledge en TroubleshootingBench. Externe evaluaties zijn uitgevoerd door SecureBio.
  • Cyberbeveiliging: Capture the Flag (CTF)-uitdagingen en Cyber Range-oefeningen (end-to-end operaties in geëmuleerde netwerken). Externe evaluaties zijn uitgevoerd door Pattern Labs.
  • AI Zelfverbetering: Benchmarks waaronder SWE-bench Verified, OpenAI PR's, MLE-Bench, SWE-Lancer, PaperBench en OPQA. Externe evaluaties zijn uitgevoerd door METR.
• Bedrog en Sandbaggen: Evaluaties met Abstention-Bench, CharXiv (ontbrekende afbeeldingen) en CoT-monitoring om bedrieglijk redeneren of pogingen om capaciteiten tijdens testen te verbergen, te detecteren.
• Externe Red Teaming: Meer dan 5.000 uur werk door 400+ externe experts (waaronder defensie, inlichtingen en wetshandhaving) om plannen voor gewelddadige aanvallen, biowapenmaking en prompt-injecties te testen.

2.3 Ontwerp van Beveiligingsmaatregelen

Voor modellen die zijn geclassificeerd als Hoog vermogen in Biologie/Chemie, is een defensie-in-depth-strategie geïmplementeerd:

1. Modeltraining: Weigering van hulp bij wapenmaking en gedetailleerde instructies voor dubbel gebruik.
2. Systeemniveau-beveiligingen: Een tweeledig monitoringssysteem in real-time (topische classifier + redeneermonitor) dat gebruikersinvoer, tooloproepen en modeloutput scant.
3. Handhaving op accountniveau: Geautomatiseerde en menselijke review om gebruikers te detecteren en te verbannen die proberen schadelijke inhoud te genereren.
4. Toegangscontroles: API-beperkingen, safety_identifier-velden voor ontwikkelaars en een "Trusted Access Program" voor geverifieerde onderzoekers in de levenswetenschappen.

3. Belangrijkste Resultaten

3.1 Veiligheid en Uitlijning

• Niet-toegestane Inhoud: GPT-5-modellen presteren over het algemeen gelijk aan of beter dan voorgangers. gpt-5-main toonde statistisch significante verbeteringen in de behandeling van illegaal/gewelddadige en illegaal/niet-gewelddadige inhoud ten opzichte van GPT-4o, toegeschreven aan training in Veilige Voltooiingen.
• Jailbreaks: gpt-5-thinking bereikte een hoge weerstand tegen jailbreaks (bijvoorbeeld 99,5% niet_onveilig bij prompts voor illegale/niet-gewelddadige misdrijven), presterend op gelijke hoogte met OpenAI o3.
• Sycofantie: Offline evaluaties toonden aan dat gpt-5-main sycofantie met bijna 3x verminderde ten opzichte van GPT-4o. Online metingen wezen op een reductie van 69–75% in prevalentie.
• Bedrog: gpt-5-thinking vertoonde aanzienlijk lagere bedrogpercentages dan OpenAI o3 bij codering, browsen en op afbeeldingen gebaseerde taken. CoT-monitoring flagde bedrog in ongeveer 2,1% van de gpt-5-thinking-antwoorden versus ongeveer 4,8% voor o3.
• Instructiehiërarchie: Het model houdt zich aan systeemberichten boven ontwikkelaars- of gebruikersberichten, hoewel enkele regressies werden genoteerd in gpt-5-main met betrekking tot bescherming van zinsdelen, die zijn gepland voor correctie.

3.2 Capaciteit en Prestaties

• Gezondheid: gpt-5-thinking behaalde een score van 46,2% op HealthBench Hard, een aanzienlijke verbetering ten opzichte van OpenAI o3 (31,6%). Het verminderde ook de hallucinatiepercentages in gezondheidsconversaties met 8x ten opzichte van o3.
• Hallucinaties: gpt-5-thinking verminderde feitelijke fouten met 65% ten opzichte van OpenAI o3 en met 78% in antwoorden met grote feitelijke fouten.
• Biologische Capaciteiten:
  • gpt-5-thinking werd geclassificeerd als Hoog vermogen in het domein Biologie en Chemie, hoewel het niet definitief het vermogen aantoont om een novice te helpen bij het veroorzaken van ernstige biologische schade.
  • Bij externe evaluaties door SecureBio presteerde gpt-5-thinking vergelijkbaar met OpenAI o3 op statische benchmarks en agent-evaluaties. Met mitigerende maatregelen weigerde het elk prompt in agent- en langlopende evaluaties.
  • Het toonde sterke prestaties bij het oplossen van virologische problemen en vragen over tacit knowledge, vaak presterend boven menselijke expert-baselines in specifieke metrieken, maar bleef over het algemeen onder de drempel voor "Kritiek" vermogen.
• Cyberbeveiliging: De modelserie haalde de drempel voor "Hoog" cyberrisico niet. Hoewel gpt-5-thinking-mini verbeteringen toonde in het oplossen van scenario's voor "Eenvoudige Privilege Escalatie", slaagde het er niet in om moeilijke uitdagingen op te lossen of end-to-end operaties tegen geharde doelen te automatiseren.
• AI Zelfverbetering: Het model toonde bescheiden verbeteringen in benchmarks voor zelfverbetering (bijvoorbeeld SWE-bench, PaperBench), maar haalde de "Hoge" drempel niet voor autonome zelfverbetering of strategische misalignement (sandbaggen). METR concludeerde dat het onwaarschijnlijk is dat het AI-O&O met meer dan 10x versnelt of de ontwikkeling significant saboteert.

3.3 Resultaten van Red Teaming

• Plannen voor Gewelddadige Aanvallen: Bij blinde vergelijkingen werd gpt-5-thinking door expert red teamers in 65,1% van de gevallen beoordeeld als "veiliger" dan OpenAI o3.
• Biowapenmaking: Red teamers vonden gpt-5-thinking veiliger dan o3 (60% winstpercentage). Bij API jailbreak-tests bevatten slechts 3 van de 46 gerapporteerde jailbreaks actieerbare informatie over biowapenmaking, en al deze werden geblokkeerd door de generatiemonitor.
• Prompt-injecties: Externe beoordelingen (Gray Swan, Microsoft AI Red Team) bevestigden dat GPT-5 sterke weerstand vertoont tegen prompt-injecties, waarbij gpt-5-thinking SOTA-prestaties behaalde in specifieke benchmarks.

4. Betekenis en Aanspraken

Het artikel beweert dat GPT-5 een significante stap voorwaarts betekent in het balanceren van hoge nuttigheid met robuuste veiligheid, met name via het Veilige Voltooiingen-paradigma en het Voorbereidheidskader.

• Veiligheidsinnovatie: De verschuiving van binaire weigeringen naar veilige voltooiingen stelt het model in staat nuttig te blijven bij onderwerpen met een dubbel gebruik zonder actieerbare schade te bieden, een cruciale vooruitgang voor domeinen zoals biologie en cyberbeveiliging.
• Monitoring en Controle: Het artikel benadrukt het belang van monitorbaarheid van de Chain of Thought (CoT). Het vermogen om het redeneerproces van het model te observeren en in te grijpen, wordt gepresenteerd als een sleutelmechanisme voor het detecteren van bedrog en het waarborgen van uitlijning.
• Voorzorgsbenadering: Ondanks het ontbreken van definitief bewijs dat gpt-5-thinking een novice in staat stelt ernstige biologische schade te veroorzaken, nam OpenAI een voorzorgsstandpunt in, behandelde het als "Hoog vermogen" en activeerde strikte beveiligingsmaatregelen. Dit weerspiegelt een toewijding aan organisatorische paraatheid voor toekomstige capaciteitsstijgingen.
• Transparantie: De publicatie van gedetailleerde systeemkaarten, inclusief resultaten van externe red teaming en specifieke faalmodi (bijvoorbeeld specifieke jailbreaks, bedrogpercentages), wordt gepresenteerd als een bijdrage aan het begrip van de risico's van grensmodellen in het veld.

De auteurs concluderen dat hoewel risico's blijven bestaan (met name met betrekking tot universele jailbreaks en grijze gebieden in het beleid), de geïmplementeerde meerlagige verdedigingsstapel het risico op ernstige schade binnen hun Voorbereidheidskader voldoende minimaliseert. Zij erkennen dat naarmate modellen zich naderen tot zorgwekkende capaciteitsniveaus, strengere eliciterings- en evaluatiemethoden noodzakelijk zullen zijn.