Technische Samenvatting: VecCISC

Probleemstelling

Het schalen van redenering tijdens de inferentie in Large Language Models (LLM's) is een standaardbenadering geworden om de prestaties op complexe taken te verbeteren. De fundamentele techniek, Zelfconsistentie (SC), omvat het nemen van meerdere steekproeven van redeneersporen en het selecteren van het meest voorkomende antwoord. Onlangs heeft Zelfconsistentie op basis van Zekerheid (CISC) superieure nauwkeurigheid aangetoond door een "twijfel tweemaal"-paradigma toe te passen: een criticus-LLM evalueert het redeneerspoor van elke kandidaat om een zekerheidsscore toe te kennen, die vervolgens wordt gebruikt in een gewogen meerderheidsstem.

Echter, CISC lijdt aan aanzienlijke inferentie-overhead en kosten. Omdat de criticus-LLM voor elke gestaalde redeneerspoor moet worden aangeroepen, verdubbelen het tokenverbruik en de latentie effectief in vergelijking met standaard SC. Bovendien behandelt naïef CISC alle steekproeven gelijk, inclusief hallucinaties, degeneratie of semantisch redundante sporen, waardoor rekenkracht wordt verspild aan outputs van lage kwaliteit die niet bijdragen aan de uiteindelijke beslissing.

Methodologie: VecCISC

Om deze inefficiënties aan te pakken, stellen de auteurs VecCISC voor, een lichtgewicht, adaptief raamwerk dat het aantal redeneersporen dat een criticus-evaluatie vereist, reduceert zonder de nauwkeurigheid te offeren. De pijplijn werkt als volgt:

1. Steekproefneming: Een LLM ($LLM_{gen}$) genereert $n$ paren van redeneerspoor en antwoord voor een gegeven prompt.
2. Generatie van Embeddings: Elk redeneerspoor wordt omgezet in een vector-embedding met behulp van een vooraf getraind embedding-model ($Emb$).
3. Groepering op Antwoord: Sporen worden gegroepeerd op basis van hun resulterende antwoord ($a$). Dit zorgt ervoor dat verschillende kandidaat-antwoorden behouden blijven voordat er wordt geklust.
4. Clustering: Binnen elke antwoordgroep worden embeddings geclusterd met algoritmen zoals KMeans of Hierarchical Agglomerative Clustering (HAC). Het doel is om semantisch equivalente sporen te identificeren, evenals uitschieters (hallucinaties of degeneratieve tekst) te isoleren. Het aantal clusters ($K$) wordt bepaald via een gridzoekopdracht op een holdout-set.
   • Opmerking: De auteurs vermijden DBSCAN expliciet vanwege de gevoeligheid van afstandsdrempels in hoogdimensionale embedding-ruimtes.
5. Selectie van Representanten: Uit elke cluster wordt een enkel representatief spoor geselecteerd. Dit wordt bereikt door het zwaartepunt (centroid) van de embeddings van de cluster te berekenen en het spoor te selecteren dat het dichtst bij dit zwaartepunt ligt, gemeten met cosijn-ähnelijkheid. De auteurs betogen dat het spoor dat het dichtst bij het zwaartepunt ligt, het minst waarschijnlijk afwijkende redeneerfouten bevat.
6. Zekerheidsscore: In plaats van alle $n$ sporen te evalueren, wordt de criticus-LLM ($LLM_{critic}$) alleen geprompt met de representatieve sporen uit elke cluster.
7. Uiteindelijke Aggregatie: De zekerheidsscores voor de representanten worden genormaliseerd (met behulp van softmax met een instelbare temperatuur $T$) en gebruikt in een gewogen meerderheidsstem om het uiteindelijke antwoord te selecteren.

Belangrijkste Bijdragen

Het artikel schetst vier primaire bijdragen:

• Nieuw Raamwerk: Introductie van VecCISC, dat gebruikmaakt van clustering van redeneersporen om redundante en kwalitatief slechte steekproeven uit de pool te elimineren die door de criticus wordt geanalyseerd, waardoor de kosten van het "twijfel tweemaal"-paradigma worden verlaagd.
• Empirische Validatie: Uitgebreide experimenten over vijf diverse datasets (wiskunde, scheikunde, biologie, gezond verstand-redenering en geesteswetenschappen) en vijf verschillende LLM's (variërend van 7B tot 70B parameters) tonen aan dat VecCISC het totale tokenbudget met 47% reduceert, terwijl de nauwkeurigheid van standaard CISC wordt behouden of overtroffen.
• Vergelijkende Analyse: De studie vergelijkt op clustering gebaseerde selectie (KMeans en HAC) met willekeurige kandidaat-selectie ($K$ steekproeven), en bewijst dat semantische clustering superieur is aan willekeurige steekproefneming voor het identificeren van ideale vertegenwoordigers.
• Open Source: De auteurs verbinden zich ertoe hun code vrij te geven om verder onderzoek te faciliteren.

Resultaten

De experimenten werden uitgevoerd op vijf datasets: AQuA-RAT, CommonsenseQA, ARC-Challenging, MMLU-Pro en GPQA.

• Kostenreductie: VecCISC reduceert het aantal oproepen aan de criticus-LLM aanzienlijk. VecCISC + KMeans bereikte een gemiddelde reductie van 34,68% in criticusoproepen, terwijl VecCISC + HAC 30,2% bereikte. Wanneer de volledige pijplijn wordt beschouwd (inclusief de initiële steekproefneming), werd het totale tokenverbruik met 47% gereduceerd.
• Token-efficiëntie: De "min-centroid"-selectiestrategie (het kiezen van het spoor dat het dichtst bij het clustercentrum ligt) presteerde consequent beter dan willekeurige spoorselectie, wat resulteerde in een lager tokenverbruik voor het criticus-component (dat ongeveer 77% van de totale tokens voor zijn rekening neemt).
• Nauwkeurigheid: VecCISC-varianten presteerden consequent beter dan of gelijk aan standaard Zelfconsistentie en CISC in bijna alle model-datasetcombinaties. Opvallend is dat VecCISC + HAC de beste gemiddelde resultaten behaalde in de meeste configuraties, en in sommige gevallen leidden de gereduceerde set van hoogwaardige sporen tot lichte nauwkeurigheidswinsten ten opzichte van CISC.
• Ablatie: De "VecCISC (willekeurig)"-baseline, die $K$ sporen willekeurig selecteert zonder clustering, presteerde aanzienlijk slechter dan zowel CISC als SC, wat de noodzaak van semantische clustering onderstreept om ruis en degeneratieve sporen te filteren.

Betekenis en Claims

Het artikel beweert dat VecCISC een effectieve, lichtgewicht aanvulling biedt op bestaande "twijfel tweemaal"-pijplijnen. De auteurs stellen dat door semantisch equivalente en degeneratieve sporen te filteren, het raamwerk de criticus-LLM in staat stelt zich te concentreren op een kleinere set van hogere kwaliteit redeneersporen. Deze aanpak vermindert de prohibitieve inferentiekosten die gepaard gaan met zekerheidskalibratie, terwijl de modelprestaties worden behouden en in sommige gevallen zelfs worden verbeterd.

De auteurs blijven bescheiden over de generalisatie van hun bevindingen, met de opmerking dat hoewel ze een algemeen doel embedding-model ($text-embedding-3-small$) hebben gebruikt om aanpasbaarheid te waarborgen, gespecialiseerde taken mogelijk baat hebben bij domeinspecifieke, fijngefineerde embedding-modellen. Bovendien erkennen ze dat de hyperparameters $K$ (aantal clusters) en $T$ (softmax-temperatuur) momenteel data-gedreven gridzoekopdrachten vereisen, wat suggereert dat toekomstig werk adaptieve methoden kan onderzoeken voor het selecteren van deze parameters zonder voorafgaande data.