How Generative AI Empowers Attackers and Defenders Across the Trust & Safety Landscape
Dit artikel, gebaseerd op een kwalitatief onderzoek onder 43 Trust & Safety-experts, schetst hoe generatieve AI zowel aanvallers als verdedigers bekrachtigt door de schaal en snelheid van aanvallen te vergroten en tegelijkertijd nieuwe mogelijkheden te bieden voor detectie, onderzoek en het verbeteren van de welzijn van moderators.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat het internet een enorm, drukke stad is. In deze stad zijn er wethouders en agenten (de verdedigers, of "Trust & Safety") die proberen de stad veilig te houden voor kinderen, eerlijke verkiezingen en mensen zonder dat ze gepest of opgelicht worden. Aan de andere kant zijn er diefen en bedriegers (aanvallers) die proberen de stad te verstoren.
Dit artikel vertelt het verhaal van wat er gebeurt als we aan deze stad een magische, super-snelle robot geven: Generatieve AI (GenAI).
De boodschap van het onderzoek is verrassend simpel: Die robot helpt zowel de dieven als de agenten. Het is een tweesnijdend zwaard.
Hier is hoe dat werkt, verteld in begrijpelijke taal:
1. De robot helpt de dieven (De aanval)
De slechteriken hebben de robot gekregen en nu kunnen ze veel meer kwaad aanrichten, en veel sneller.
- De "Kopieer- en Plak"-machine: Vroeger moest een oplichter handmatig duizenden nep-berichten sturen. Dat kostte tijd. Nu kan de robot in één seconde duizenden persoonlijke, overtuigende berichten schrijven in tientallen talen. Het is alsof je van één dief ineens een heel leger van duizenden hebt.
- De "Mooi Maak"-machine: Aanvallers kunnen nu nepfoto's en nepvideo's maken die er 100% echt uitzien. Ze kunnen bijvoorbeeld een foto van een onschuldig kind maken dat eruitziet alsof het jaren geleden is gemaakt, of een nepvideo van een politicus die iets zegt wat hij nooit heeft gezegd. Dit maakt het heel moeilijk voor de agenten om te weten wat echt is en wat nep.
- De "Toegangspoort": Vroeger moest je slim zijn of dure apparatuur hebben om kwaad te doen. Nu kan elke tiener met een telefoon een nepfoto maken of een haatcampagne starten. De drempel is weggevallen; iedereen kan nu meedoen aan het slechte.
- De "Vriendelijke" Valstrik: De robot kan ook als een chatbot fungeren die zich voor doet als een vriend. Voor een eenzame ouder of een kwetsbaar kind kan dit een valstrik zijn die ze manipuleert tot het doen van gevaarlijke dingen.
2. De robot helpt de agenten (De verdediging)
Maar wacht, de wethouders hebben diezelfde robot ook gekregen! Als ze hem slim gebruiken, kan hij de stad redden.
- De "Super-Snuffel"-hond: De robot kan duizenden berichten in een seconde scannen. Hij kan nepberichten, haatzaaiende teksten en oplichterij herkennen die voor mensen te veel zijn om te zien. Hij werkt als een filter dat de "vuilnisbak" van het internet opruimt.
- De "Beschermheer" voor de agenten: Mensen die werken aan het verwijderen van gruwelijke inhoud (zoals misbruikbeelden) krijgen vaak trauma. De robot kan het zware werk doen: hij kijkt eerst naar de inhoud en filtert het ergste eruit. De menselijke agenten hoeven dan alleen nog maar de moeilijke, grijze gevallen te bekijken. Dit beschermt hun mentale gezondheid.
- De "Tegen-Storyteller": Als de slechteriken een nep-nieuwsverhaal verspreiden, kan de robot voor de agenten een tegen-verhaal schrijven dat net zo overtuigend is, maar dan met de waarheid. Het is alsof je een leugen kunt weerspreken met een verhaal dat net zo goed klinkt.
- De "Hulpverlener": Stel je voor dat iemand wordt gepest. Een slimme chatbot kan die persoon helpen, troost bieden en stap voor stap uitleggen hoe ze zich kunnen beschermen, zonder dat ze zelf door de haatberichten hoeven te scrollen.
3. De grote uitdaging: Een race waar de dieven eerst winnen
Het onderzoek laat zien dat we nu in een gevaarlijke fase zitten.
- De "Gaten in de Muur": De robot maakt het voor de dieven zo makkelijk om nieuwe soorten kwaad te creëren, dat de bestaande veiligheidsystemen (de muur) niet snel genoeg kunnen worden gerepareerd. Het is alsof de dieven een nieuwe soort boor hebben die door elke muur gaat, terwijl de agenten nog steeds met hamers en spijkers werken.
- Verschillende buurten: Het werkt niet voor iedereen hetzelfde.
- In de kinderveiligheid is het een ramp: de robot kan oneindig veel nieuwe, unieke nep-beelden maken die niet meer te herkennen zijn met de oude systemen. De hele verdediging moet opnieuw worden gebouwd.
- Bij oplichting is het een race: de dieven worden sneller, maar de agenten kunnen ook sneller worden. Het blijft een strijd.
- Bij verkiezingen is het lastig: de robot maakt nepnieuws zo goed dat mensen niet meer weten wat waar is. Het is alsof de hele stad in een nevel zit.
4. Wat moeten we doen?
De onderzoekers zeggen dat we niet alleen moeten wachten tot de technologie beter wordt. We moeten:
- Samenwerken: Net als in een stad moeten de agenten van verschillende buurten (platforms, politie, banken) hun krachten bundelen. Als één bank een oplichter ziet, moeten de anderen dat ook weten.
- De robot trainen: We moeten de robot leren wat "goed" en "slecht" is, niet alleen door code, maar door mensen met ervaring (zoals kinderbeschermers) te laten meedenken.
- Niet alles op de robot laten: De robot is sterk, maar hij begrijpt niet altijd de subtiele nuances van menselijk gedrag of cultuur. We hebben nog steeds slimme mensen nodig om de moeilijke beslissingen te nemen.
Kortom: Generatieve AI is als een krachtige motor die we in zowel de politieauto als de auto van de dief hebben gemonteerd. Op dit moment rijden de dieven iets sneller, maar als we de agenten de juiste tools en training geven, kunnen we die motor gebruiken om de stad veiliger te maken dan ooit tevoren. Het is een race, maar we hebben de kans om te winnen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.