Quantifying the Relationship Between Clinical Safety and Environmental Impact in Therapeutic LLMs

Stel je voor dat je een robottherapeut bouwt om mensen te helpen praten over hun moeilijkste dagen. Je wilt dat deze robot ongelooflijk slim, vriendelijk en veilig is, zodat hij nooit het verkeerde zegt wanneer iemand in een crisis verkeert. Maar er is een addertje onder het gras: het bouwen van een robot die zo slim is, kost een enorme hoeveelheid elektriciteit, alsof je de energie van een kleine stad aan elektriciteitscentrales nodig hebt om slechts één gesprek te voeren. Dit is de wereld van "Large Language Models" (AI die kan chatten als een mens) in de gezondheidszorg. Wetenschappers hebben een grote vraag gesteld: Is er een manier om de veiligste, meest behulpzame robot te krijgen zonder de planeet te verbranden? Ze proberen het ideale evenwicht te vinden waarbij de robot veilig genoeg is om te vertrouwen, maar niet zo hongerig naar energie dat het de omgeving schaadt.

Dit artikel, geschreven door een team van onderzoekers, besluit dat exacte evenwicht te meten. Ze namen een lijst van verschillende AI-modellen en controleerden twee dingen tegelijkertijd: hoe goed ze met gevaarlijke mentale gezondheidssituaties omgingen (zoals gedachten aan zelfbeschadiging) en hoeveel energie, water en koolstofvervuiling ze gebruikten om dat te doen. Denk aan het vergelijken van auto's: sommige zijn superveilig maar hebben een verschrikkelijk brandstofverbruik, terwijl andere klein en efficiënt zijn maar misschien niet de beste remmen hebben. De onderzoekers wilden zien of de "veiligste" AI-modellen ook de meest verspillende waren, of dat je een veilig model kon krijgen dat ook milieuvriendelijk was.

Dit is wat ze vonden, en het is een beetje een verrassing. Ze keken naar 47 verschillende AI-opstellingen en ontdekten een vreemde, hobbelige relatie. Voor het grootste deel kun je een behoorlijk veilige AI krijgen zonder te veel energie te verbruiken. Maar als je het absoluut veiligste model mogelijk wilt—het model met de hoogste veiligheidsscore—loop je tegen een muur aan. Om nog maar een heel klein beetje meer veiligheid uit te persen, explodeert de energiekosten. Specifiek ontdekten de onderzoekers dat een kleine stijging van 2,61 procentpunt in de veiligheidsscore (van een zeer goede score naar de allerbeste score) ongeveer 60 keer meer energie vereiste om dezelfde hoeveelheid tekst te genereren. Het is alsof je probeert 160 kilometer per uur te rijden om slechts 30 seconden sneller bij de winkel te zijn; de extra snelheid kost je een fortuin aan brandstof voor bijna geen enkel echt voordeel.

Het papier testte ook een populair idee: "Wat als we de AI gewoon harder laten nadenken?" Sommige mensen geloven dat als je een AI meer tijd geeft om te "redeneren" of te rekenen voordat hij antwoordt, hij veiliger zal zijn. De onderzoekers controleerden dit door naar modellen te kijken die extra denkstappen gebruikten versus modellen die dat niet deden. Ze ontdekten dat dit extra nadenken de AI niet altijd veiliger maakte. Sterker nog, in sommige gevallen zorgde het toevoegen van meer denkstappen er juist voor dat de veiligheidsscores naar beneden gingen. Dit suggereert dat het simpelweg op de computerkracht gooien van meer rekenkracht geen magische oplossing is.

Dus, wat is de kern van het verhaal? De auteurs suggereren dat we niet voor elk gesprek de grootste, krachtigste AI moeten kiezen. In plaats daarvan stellen ze een "slimme schakel"-aanpak voor. Stel je een verkeerslichtsysteem voor voor AI: gebruik een klein, energiezuinig model voor alledaagse gesprekken waarbij het risico laag is, en schakel pas de gigantische, energieverslindende super-model in wanneer de situatie echt gevaarlijk is en dat extra niveau van veiligheid vereist. Op die manier kunnen we mensen veilig houden zonder enorme hoeveelheden energie te verspillen aan gesprekken die dat niet nodig hebben. De studie suggereert dat deze "dynamische" aanpak een veel betere manier is om therapeutische AI te bouwen dan simpelweg aannemen dat groter altijd beter is.