LZ Penalty: An information-theoretic repetition penalty for autoregressive language models

In de wereld van kunstmatige intelligentie bestaat een klasse krachtige computerprogramma's die bekend staan als taalmodellen. Deze systemen zijn getraind om het volgende woord in een zin te voorspellen, waardoor ze verhalen kunnen schrijven, vragen kunnen beantwoorden en zelfs complexe wiskundige problemen kunnen oplossen door lange ketens van redeneringen te genereren. Om deze voorspellingen te doen, vertrouwen de modellen op een statistisch proces waarbij ze het meest waarschijnlijke volgende woord kiezen uit een enorme lijst met mogelijkheden. Echter, een hardnekkig probleem heeft deze systemen geteisterd, vooral wanneer ze worden gevraagd om door moeilijke taken na te denken: ze raken soms vast in een lus. In plaats van vooruit te gaan met een nieuw idee, begint het model steeds dezelfde woorden of zinnen te herhalen, waardoor de output degradeert tot onzin. Dit probleem staat bekend als degeneratieve repetitie, en het is een aanzienlijke barrière geweest voor het gebruik van deze modellen voor betrouwbare, deterministische taken waarbij de output consistent en vrij van fouten moet zijn.

Jarenlang hebben ingenieurs geprobeerd dit op te lossen door eenvoudige straffen toe te passen op de keuzes van het model. Deze straffen werken als een zachte duw, die het model ontmoedigt om woorden te kiezen die het onlangs al heeft gebruikt. De ene methode telt hoe vaak een woord is verschenen en vermindert de waarschijnlijkheid ervan; een andere methief straft simpelweg elk woord dat eerder is verschenen. Hoewel deze methoden goed werken voor informele gesprekken, falen ze vaak wanneer het model betrokken is bij diepe redeneringen. De redeneermodellen, die zeer lange tekstsequenties genereren om logische puzzels uit te werken, vallen ondanks deze standaardoplossingen regelmatig in repetitieve cycli. Het resultaat is een systeem dat sterk kan beginnen, maar uiteindelijk instort in een hakkelende lus van herhaalde woorden, wat de output nutteloos maakt voor serieuze toepassingen.

Een team van onderzoekers bij Salesforce AI Research heeft een nieuwe oplossing voorgesteld die inspiratie put uit een totaal ander gebied: datacompressie. Hun werk introduceert een methode genaamd de Lempel-Ziv-straf, die is ontworpen om deze repetitieve lussen te stoppen zonder het vermogen van het model om helder na te denken op te offeren. De kern van het idee berust op een fundamentele connectie tussen het voorspellen van het volgende woord in een zin en het comprimeren van een bestand met gegevens. In de wereld van computing werken compressie-algoritmen door patronen en herhalingen in gegevens te vinden om bestanden kleiner te maken. Als een sequentie van woorden vaak herhaalt, kan een compressie-algoritme deze zeer efficiënt beschrijven, met minder bits aan informatie. De onderzoekers realiseerden zich dat als zij konden meten hoe gemakkelijk de huidige tekststroom van het model gecomprimeerd kon worden, zij die informatie konden gebruiken om het model weg te leiden van repetitieve patronen.

De onderzoekers ontwikkelden een systeem dat een specifiek type compressie-algoritme, bekend als het Lempel-Ziv-algoritme, in real-time simuleert terwijl het model tekst genereert. Dit algoritme kijkt terug naar een verschuivend venster van de recente tekstgeschiedenis en zoekt naar de langste mogelijke overeenkomsten van woordsequenties. Wanneer het model een nieuw woord overweegt, berekent het systeem hoeveel dat woord de totale grootte van het gecomprimeerde bestand zou veranderen. Als het nieuwe woord een lang, redundant patroon creëert dat het compressie-algoritme gemakkelijk kan coderen, past het systeem een straf toe op dat woord, waardoor het minder waarschijnlijk wordt gekozen. Omgekeerd, als het woord nieuwe, onvoorspelbare informatie introduceert die niet gemakkelijk gecomprimeerd kan worden, is de straf laag of afwezig. Deze aanpak is verschillend van eerdere methoden omdat het niet alleen telt hoe vaak een enkel woord voorkomt; in plaats daarvan kijkt het naar de lengte van de herhaalde sequentie en hoe ver die sequentie terugkwam.

Om deze nieuwe aanpak te testen, pasten de onderzoekers deze toe op twee geavanceerde redeneermodellen, één met 32 miljard parameters en een ander met 14 miljard. Ze vergeleken de prestaties van hun nieuwe straf met de huidige industriestandaardmethoden. De resultaten waren opmerkelijk. Wanneer ze de standaard frequentie- of repetitiestraf gebruikten, vielen de modellen nog steeds ongeveer 4% van de tijd in degeneratieve repetitielussen, zelfs toen de onderzoekers probeerden de instellingen af te stemmen om dit te voorkomen. In contrast hiermee verminderde de nieuwe Lempel-Ziv-straf de snelheid van deze repetitieve fouten tot effectief nul. De modellen waren in staat om lange, complexe redeneerketens te genereren zonder vast te lopen, en hun nauwkeurigheid op moeilijke benchmarktests bleef onveranderd. Dit suggereert dat de nieuwe methode succesvol de redundantie verwijdert die de lussen veroorzaakt, zonder de werkelijke redeneercapaciteiten van het model te verstoren.

De onderzoekers onderzochten ook de computationele kosten van het draaien van deze nieuwe straf. Omdat het systeem een compressiestap moet simuleren voor elk gegenereerd woord, is er een kleine hoeveelheid extra werk vereist. Ze kwamen echter tot de conclusie dat deze overhead verrassend klein is. Voor grote modellen was de vertraging in snelheid minder dan één procent, een verschil dat zo minimaal is dat het in het dagelijks gebruik nauwelijks merkbaar zou zijn. Deze efficiëntie maakt de methode praktisch voor directe adoptie, wat een manier biedt om redeneermodellen betrouwbaarder te maken zonder aanzienlijk nieuwe rekenkracht te eisen.

Eén beperking die het team opmerkte, is dat de methode specif kind is ontworpen voor natuurlijke taal. Het compressie-algoritme berust op de aanname dat taal bepaalde statistische eigenschappen heeft, zoals het feit dat woorden in de loop van de tijd op voorspelbare manieren de neiging hebben te herhalen. Hoewel de methode uitzonderlijk goed werkt voor tekst, waarschuwen de onderzoekers dat het mogelijk niet even effectief is voor andere soorten gegevens, zoals afbeeldingen of audio, zonder specifieke aanpassingen. Daarnaast is het systeem niet perfect voor elk denkbaar scenario; bijvoorbeeld, als een gebruiker het model expliciet vraagt om een letter honderd keer te herhalen, kan de straf met die specifieke instructie in conflict komen. Echter, voor het overgrote deel van de taken waarbij het doel coherente, niet-repetitieve redenering is, lijkt de nieuwe methode een robuuste oplossing.

De bevindingen suggereren een verschuiving in hoe we denken over het controleren van kunstmatige intelligentie. In plaats van te vertrouwen op botte instrumenten die simpelweg woorden verbieden op basis van hun aantal, gebruikt deze aanpak de wiskundige principes van informatietheorie om de structuur van de tekst zelf te begrijpen. Door de generatie van tekst te behandelen als een proces van compressie, hebben de onderzoekers een hulpmiddel gecreëerd dat de ruis van herhaling natuurlijk wegfiltert terwijl het signaal van het denken behouden blijft. Dit stelt open-source redeneermodellen in staat om met een niveau van determinisme te opereren dat voorheen moeilijk te bereiken was, wat de deur opent naar meer betrouwbare toepassingen in velden waar consistentie van cruciaal belang is. Het werk demonstreert dat door het probleem te bekijken door de lens van datacompressie, we elegante oplossingen kunnen vinden voor de hardnekkige glitches die de voortgang van taalmodellen lang hebben gehinderd.