Technische Samenvatting: Diverse LLM's of Diverse Vraaginterpretaties?

Probleemstelling

Het integreren van diversiteit in machine learning-systemen is een gevestigde strategie voor het verbeteren van robuustheid en prestaties, met name in ensemble-methoden waarbij componenten op complementaire wijze falen. Echter, in de context van Large Language Models (LLM's) blijft het effectief benutten van diversiteit een uitdaging. Traditionele ensemble-benaderingen vertrouwen vaak op modeldiversiteit, waarbij outputs van meerdere verschillende LLM's worden geaggregeerd. Een kritieke beperking van deze aanpak is dat onafhankelijk ontwikkelde LLM's onderliggende trainingsdata of architecturale bias kunnen delen, wat leidt tot positief gecorreleerde fouten die winst in nauwkeurigheid beperken.

Dit artikel behandelt de onderzoeksvraag: "Kan diversiteit in vraaginterpretatie een effectief alternatief zijn voor modeldiversiteit?" De auteurs onderzoeken of het genereren van meerdere semantische interpretaties van een enkele vraag en het aggregeren van de antwoorden van een enkel model betere prestaties oplevert dan het aggregeren van antwoorden van meerdere modellen op een enkele interpretatie.

Methodologie

De studie vergelijkt twee ensemble-strategieën voor het beantwoorden van binaire vragen (Ja/Nee) over drie datasets: BoolQ, StrategyQA en PubMedQA.

1. Diversiteitsbenaderingen

• Modeldiversiteit: Drie verschillende LLM's beantwoorden dezelfde vraag met behulp van één vaste interpretatie. Het uiteindelijke antwoord wordt bepaald door meerderheidsstemming.
• Diversiteit in vraaginterpretatie: Een enkele LLM genereert drie verschillende semantische interpretaties van dezelfde vraag. Het model beantwoordt vervolgens elke interpretatie individueel. Het uiteindelijke antwoord wordt bepaald door meerderheidsstemming over deze interpretaties.

2. Experimentele Opstelling

• Modellen: De studie evalueert zowel commerciële modellen (OpenAI's GPT-3.5-turbo, GPT-3.5-turbo-instruct, GPT-4) als modellen met open gewichten (LLaMA-2-7b, LLaMA-3-8B, LLaMA-3-8B-Instruct).
• Prompt-strategie:
  • Om interpretaties te genereren zonder modelvariatie in te brengen, wordt één model (GPT-3.5-turbo) gebruikt met een specifieke prompt (pmulti-step1) om ten minste drie verschillende semantische interpretaties te produceren.
  • Elk model in het ensemble beantwoordt vervolgens de specifieke interpretaties met behulp van een tweede prompt (pmulti-step2) die het model instrueert om de interpretatie te herformuleren, relevante feiten te verstrekken en het antwoord te samenvatten als <answer>Yes</answer> of <answer>No</answer>.
• Extractie en Validatie van Antwoorden:
  • Ruwe LLM-outputs worden verwerkt via extractieheuristieken (Match First en Match Pattern) om reacties te normaliseren naar een set samengevatte antwoorden: {yes, no, none, depends, unclear}.
  • Een correctiescore wordt berekend door het geëxtraheerde antwoord te vergelijken met de ground truth.
• Ensemble-consensus: Meerderheidsstemming wordt toegepast op de samengevatte antwoorden van de ensembleleden (ofwel verschillende interpretaties ofwel verschillende modellen) om de uiteindelijke output te bepalen.

Belangrijkste Resultaten

De experimenten tonen aan dat diversiteit in vraaginterpretatie Modeldiversiteit consistent overtreft wat betreft ensemble-nauwkeurigheid.

1. Prestatievergelijking

• Diversiteit in interpretatie: Stemming over diverse interpretaties verbeterde de nauwkeurigheid consistent ten opzichte van de baseline (directe vragen) en overtrof vaak de prestaties van het beste individuele ensemble-lid. Dit was vooral uitgesproken voor op LLaMA gebaseerde ensembles op de BoolQ- en StrategyQA-datasets.
• Modeldiversiteit: Stemming over diverse modellen leverde doorgaans resultaten op die tussen het beste en het slechtste individuele ensemble-lid lagen. Het bood zelden een significante verbetering ten opzichte van het beste enkele model en resulteerde in sommige gevallen (bijvoorbeeld LLaMA-modellen op PubMedQA) in lagere prestaties dan het beste lid.

2. Kwantitatieve Bevindingen

• Nauwkeurigheidsdelta: Bij het vergelijken van de ensemble-nauwkeurigheid met het beste individuele lid:
  • Modeldiversiteit: Toonde negatieve gemiddelde nauwkeurigheidsverschillen (-3,73 voor ChatGPT, -10,53 voor LLaMA), wat aangeeft dat het ensemble vaak onderpresteerde ten opzichte van het beste enkele model.
  • Diversiteit in interpretatie: Toonde een gemiddeld nauwkeurigheidsverschil van -1,35 voor ChatGPT en een positieve +11,12 voor LLaMA, wat aangeeft dat diversiteit in interpretatie het ensemble consistent dichter bij of boven de prestaties van het beste individuele lid bracht.
• Dataspecifieke aspecten: Het voordeel van diversiteit in interpretatie was het meest significant voor open-weight LLaMA-modellen, wat suggereert dat het variëren van de semantische framing van een vraag een effectievere mechanisme voor foutcorrectie is dan het variëren van de modelarchitectuur of gewichten.

Betekenis en Claims

Het artikel claimt het eerste werk te zijn dat modeldiversiteit en diversiteit in vraaginterpretatie direct vergelijkt in op LLM's gebaseerde ensembles.

• Primaire bijdrage: De auteurs stellen vast dat voor binaire QA-taken diversiteit in vraaginterpretatie een effectievere ontwerpkeuze is dan modeldiversiteit. Deze aanpak maakt prestatiewinst mogelijk met behulp van een enkel model, waardoor de ontwikkeling wordt gestroomlijnd door gerichte tuning en prompt-engineering mogelijk te maken zonder de kosten van het beheren van meerdere verschillende modellen.
• Theoretische implicatie: De resultaten suggereren dat de voor robuuste ensembles vereiste "falingsdiversiteit" kan worden bereikt door de semantische context van de input (interpretatie) te variëren, in plaats van te vertrouwen op architecturale diversiteit, die kan lijden onder gedeelde faalpatronen.
• Bescheidenheid in claims: De auteurs erkennen beperkingen en merken op dat de studie beperkt is tot binaire vragen en specifieke datasets. Zij claimen geen universele toepasbaarheid voor open-ended generatietaken, aangezien antwoordvalidatie voor niet-binaire vragen andere heuristieken vereist (bijvoorbeeld semantische gelijkenis). Bovendien merken zij op dat de overhead van het genereren van interpretaties latentie introduceert en dat de schaalbaarheid van het toevoegen van meer interpretaties versus meer modellen een open vraag blijft.

Concluderend betoogt het artikel dat het benutten van diversiteit op inferentietijd via vraaginterpretatie een superieure en efficiëntere strategie is voor het verbeteren van de nauwkeurigheid van LLM-ensembles dan het uitsluitend vertrouwen op modeldiversiteit.