Anchorless Diversification for Parallel LLM Ideation

Technische Samenvatting: Ankerloze Diversificatie voor Parallelle LLM-Ideatie

Probleemstelling
Grote Taalmodellen (LLMs) worden steeds vaker ingezet om pools van kandidaat-ideeën te genereren voor creatieve taken (bijvoorbeeld verhaallijnen, productconcepten, slogans). Hoewel parallelle inferentie aantrekkelijk is om deze pools te schalen zonder modelparameters te verhogen, bestaat er een kritieke faalmodus: hedendaagse LLMs concentreren de waarschijnlijkheidsmassa vaak rond bekende patronen als gevolg van pretraining en voorkeursoptimalisatie. Dit leidt tot "semantische instorting", waarbij parallelle generaties clusteren in dezelfde semantische bekkens, waardoor een illusie van exploratie ontstaat terwijl de beschikbare ruimte voor downstream mens-AI co-creatie feitelijk wordt ingeperkt.

De kernuitdaging is om deze kandidaat-pools effectief te diversifiëren zonder de outputkwaliteit te offeren of prohibitieve inferentiekosten te maken. Bestaande methoden vertrouwen vaak op "geankerde" strategieën—het gebruik van waargenomen zaadideeën, gedeelde staat of iteratieve regeneratie—wat verborgen kosten introduceert (zaadgeneratie, selectie, feedbacklussen) die bij kostvergelijkingen vaak worden uitgesloten. Dit artikel onderzoekt of "ankerloze" methoden—die niet afhankelijk zijn van waargenomen zaadideeën of sequentiële coördinatie—kunnen wedijveren met geankerde baselines in het bereiken van diversiteit, terwijl ze de efficiëntie van parallelle generatie behouden.

Methodologie
De auteurs evalueren drie families creatieve taken: korte verhalen (4 prompts), Alternatieve Gebruikstaken (AUT, 5 objecten) en slogans (3 prompts). Ze testen drie frontier-modellen: GPT-5.4, Claude Sonnet 4.6 en Gemini 2.5 Pro.

De studie vergelijkt twee één-staps (ankerloze) methoden met vier twee-staps (geankerde) methoden onder twee instructiestrategieën:

1. Neutraal: "Maak het antwoord nieuw en passend voor de taak."
2. Divergeren: Voegt een populatie-referentiële instructie toe: "Probeer het op te laten vallen ten opzichte van andere antwoorden die voor dezezelfde taak kunnen worden gegenereerd."

Generatiemethoden:

• Ankerloos:
  • indep: Onafhankelijke generatie uitsluitend vanuit de prompt.
  • strat (Semantische Richtingsstratificatie): Een enkele planningscall vraagt het model om vijf brede semantische richtingen voor de taak te voorstellen. Vervolgende generaties worden vervolgens gelijkmatig verdeeld over deze richtingen, zonder zaadvoorbeelden te zien.
• Geankerd (Twee-staps):
  • repr: Genereert een zaadpool, selecteert drie representatieve ankers (medoid + verst-af-eerst) en regenerert kandidaten die zijn geconditioneerd op het vermijden van deze ankers.
  • self: Regenerert elke kandidaat geconditioneerd op het vermijden van de eigen zaadoutput.
  • peer1/peer2: Regenerert kandidaten geconditioneerd op het vermijden van de eigen zaadoutput plus één of twee peer-outputs uit de zaadpool.

Evaluatiemetrics:

• Diversiteit: Gemiddelde paarwise semantische afstand ($D_{pair}$), afstand tot de dichtstbijzijnde buur, medoid-afstand, MST-dispersie en genormaliseerde semantische-regio-entropie ($D_{ent}$).
• Kwaliteit: Taakspecifieke automatische proxies (MAoSS voor verhalen, CLAUS voor AUT, en een frase-niveau niet-sjabloon-metric voor slogans), gestandaardiseerd binnen de taak.
• Kosten: Volledige-pipeline token-accounting, inclusief planningscalls, zaadgeneratie en regeneratiestappen.
• Analyse: Pool-grootte rarefactie (AUC en first-hit metrics) om te meten hoe snel diversiteit accumuleert naarmate een pool wordt bemonsterd.

Belangrijkste Resultaten

1. Divergerende Instructies als Lage-Kosten Baseline: Het toepassen van de "diverge"-instructie op onafhankelijke generatie (indep-diverge) verbetert de semantische diversiteit aanzienlijk over alle modellen en taken, terwijl de kwaliteitsproxies behouden of licht worden verbeterd. Het veroorzaakt minimale overhead ($R_{tok} \approx 1.1$), waardoor het een sterke, lage-kosten baseline is.
2. Semantische Richtingsstratificatie: De strat-diverge-methode (planning + divergerende instructie) bereikt de hoogste diversiteitsklasse, vaak gelijkend op of het overtreffen van de sterkste geankerde methoden (zoals peer2-diverge). Cruciaal doet ze dit met één planningscall en parallelle generatie, waardoor de zware tokenkosten van zaad-en-regeneratie-pijplijnen worden vermeden.
3. Token-efficiëntie: Bij rekening houden met volledige-pipeline kosten, levert strat-diverge de beste diversiteit-kwaliteit-compute frontier op. Bijvoorbeeld, op GPT-5.4 bereikt strat-diverge een diversiteitstoename per 100k tokens (0,295) die aanzienlijk beter presteert dan peer2-diverge (0,157), ondanks dat peer2 een vergelijkbare ruwe diversiteitstoename heeft.
4. Rarefactiedynamiek: Terwijl lokale anker-methoden (self, peer) eenmaal de zaadpool gegenereerd is, semantische-regio-entropie iets sneller accumuleren dan strat-diverge, bereikt strat-diverge het doeldiversiteitsniveau met veel minder totale tokens omdat het de zaadgeneratiefase elimineert.
5. Robuustheid: De resultaten houden stand over verschillende embedding-modellen, kwaliteitsmetrics (inclusief LLM-als-rechter voor slogans) en taakfamilies.

Betekenis en Aanspraken
Het artikel claimt praktische, ankerloze baselines te vestigen voor open-ended LLM-ideatie. Het betoogt dat:

• Directe divergerende instructies een krachtige, lage-kosten interventie zijn die het impliciete kennis van het model over waarschijnlijke antwoorden benut om redundantie te vermijden zonder een zaadpool te observeren.
• Semantische richtingsstratificatie modellen in staat stelt een "grof kaart" van de responsruimte te externaliseren, waardoor latente taakvariatie wordt omgezet in een expliciete allocatiestructuur. Dit maakt brede parallelle exploratie mogelijk zonder de overhead van stateful coördinatie of zaadgeneratie.
• Volledige-pipeline accounting essentieel is voor het evalueren van diversificatiemethoden. Hoewel geankerde regeneratie krachtig blijft, krimpt het voordeel wanneer de kosten van zaadgeneratie en regeneratie worden meegerekend.
• Deze bevindingen ondersteunen een "autostratificatie"-visie op LLM-ideatie, waarbij modellen kunnen worden gestuurd naar bredere kandidaat-pools via inferentie-tijd controles die de aantrekkingskracht van parallelle generatie behouden, wat potentieel AI-geïnduceerde diversiteitsinstorting van ideeën kan mitigeren in downstream toepassingen zoals wetenschappelijke ontdekking of geneesmiddelenontwerp.

De auteurs blijven bescheiden, en wijzen op beperkingen in het vertrouwen op automatische kwaliteitsproxies, de gevoeligheid van op embedding gebaseerde metrics, en de noodzaak van toekomstig werk om deze methoden te testen over langere output, strengere feitelijke beperkingen en multimodale taken.