Technische Samenvatting: Wanneer Gradiënten Collideren

Probleemstelling

Het aanpassen van Large Language Model (LLM)-beoordelaars voor specifieke domeinen vereist het optimaliseren van prompts om aan meerdere evaluatiecriteria tegelijkertijd te voldoen (bijv. vloeiendheid, relevantie, coherentie, consistentie). Hoewel methoden voor tekstuele gradiënten (bijv. TEXTGRAD, OPRO) succesvol prompt-optimalisatie voor enkele doelen automatiseren, stuiten ze op een structurele barrière in multi-objectieve instellingen. In tegenstelling tot numeriek multi-task learning, waar conflictoplossingstools zoals PCGrad of MGDA vertrouwen op eigenschappen van vectorruimten (magnitudes, inproducten, lineaire deelruimten), zijn tekstuele gradiënten natuurlijke-taalstrings. Bijgevolg kunnen bestaande mechanismen voor multi-task conflictoplossing niet direct worden toegepast. Bovendien heeft eerdere werk niet systematisch onderzocht hoe feedback per taak binnen één enkele tekstuele gradiënttraject voor LLM-beoordelaars met elkaar interageert, waardoor de haalbaarheid van prompt-optimalisatie voor meerdere criteria onbekend blijft.

Methodologie

De auteurs voeren een uitgebreide empirische studie uit op het SUMMEVAL-dataset, een meta-evaluatiebenchmark voor samenvattingen met vier verschillende criteria (vloeiendheid, relevantie, coherentie, consistentie). De studie maakt gebruik van een optimalisatiepijplijn in vier fasen:

1. Taakmodel: Voorspelt scores voor een batch voorbeelden.
2. Loss LLM: Critiseert voorspellingen tegen de grondwaarheid om een natuurlijke-taalverlies (loss) te genereren.
3. Gradiënt LLM: Aggregeert verliezen tot gestructureerde suggesties voor het bewerken van instructies (tekstuele gradiënten).
4. Optimizer LLM: Herschrijft de instructies per taak van de prompt op basis van de gradiënt.

De kernvariabele in het experiment is de ontledingsmodus, geparametriseerd door een code van drie letters (bijv. SSS, CCC) die aangeeft of de fasen Loss, Gradiënt en Optimizer Apart (S) per taak of Gecombineerd (C) over alle taken gezamenlijk opereren. De vijf geteste modi zijn:

• SINGLE-TASK: Onafhankelijke optimalisatieruns voor elke taak.
• SSS: Alle fasen apart per taak.
• SSC: Loss en Gradiënt apart; Optimator combineert alle gradiënten.
• SCC: Loss apart; Gradiënt en Optimator combineren alle taken.
• CCC: Alle fasen opereren gezamenlijk op alle taken.

De studie evalueert deze modi onder twee validatiestrategieën: MAE-validatie (acceptatie van updates alleen als de Mean Absolute Error op een vastgehouden set niet toeneemt) en geen validatie (acceptatie van alle updates). De prestaties worden gemeten aan de hand van de taak-gegemiddelde Spearman-rangcorrelatie ($\bar{\rho}$) over 12 optimalisatiestappen verspreid over 3 runs.

Om falen te diagnosticeren, introduceren de auteurs twee procesniveau-metrics:

1. Gradiëntspecificiteit: Een score (1–10) die meet hoe gericht een gradiënt is op een enkele taak versus hoe algemeen deze is.
2. Feedbackvolging: Een score die meet hoe goed de Optimizer LLM de suggesties van de Gradiënt LLM volgt.

Belangrijkste Resultaten

De studie onthult dat optimalisatie van prompts voor meerdere criteria vaak stagneert of de prestaties verslechtert ten opzichte van de initiële generieke prompt:

• Optimalisatiefalen: In 6 van de 10 configuraties (ontledingsmodi $\times$ validatie-instellingen) verbeterde het optimalisatieproces de initiële prompt nooit. De enige multi-task-modus die een bescheiden verbetering liet zien was CCC met MAE-validatie (+0,012 $\rho$), wat statistisch niet significant was. Alleen de SINGLE-TASK-baseline met MAE-validatie behaalde een betekenisvolle verbetering (+0,031 $\rho$).
• Gradiëntverdunning: Wanneer de Gradiënt LLM meerdere criteria gezamenlijk verwerkt (SCC, CCC-modi), daalt de gradiëntspecificiteit met 59% (van een gemiddelde van 9,0 in modi per taak naar 3,7 in modi voor alle taken). Ondanks deze daling blijft de feedbackvolging hoog (7,8–8,8), wat aangeeft dat de Optimator trouw algemene, laag-specifieke suggesties integreert, wat leidt tot suboptimale prompt-updates.
• Instructie-interferentie: Zelfs bij het gebruik van "orakel"-instructies (de best presterende instructies per taak, onafhankelijk geselecteerd), verslechtert het combineren ervan in één enkele multi-task prompt de prestaties met −0,053 Spearman ten opzichte van de initiële generieke baseline. Dit suggereert dat inferentie-tijd interferentie, waarschijnlijk veroorzaakt door asymmetrie in instructielengte (uitgebreide rubrieken die aandacht domineren ten opzichte van beknopte), de aggregatie van individueel optimale instructies verhindert.
• Hypervolume Indicator (HVI): Hoewel de gemiddelde Spearman-correlatie stagneerde, nam de HVI toe voor de CCC-modus, wat aangeeft dat de optimizer diverse specialistische prompts ontdekte die het Pareto-front uitbreidden, zelfs als geen enkele prompt op alle taken tegelijkertijd domineerde.

Belangrijkste Bijdragen

Het artikel levert drie primaire bijdragen:

1. Empirische Studie: Een systematische evaluatie van tekstuele gradiëntoptimalisatie voor meerdere criteria over vijf ontledingsmodi, die aantoont dat huidige methoden grotendeels falen om te verbeteren ten opzichte van generieke prompts in multi-objectieve instellingen.
2. Procesniveau-diagnostiek: De introductie van metrics voor gradiëntspecificiteit en feedbackvolging, die de bottleneck lokaliseren bij de kwaliteit van het gradiëntsignaal in plaats van bij de naleving van de optimizer.
3. Identificatie van Falingsmodi: De isolatie van twee distincte falingsmodi:
   • Gradiëntverdunning tijdens optimalisatie: Het verlies van taakspecifiek signaal wanneer meerdere criteria gezamenlijk worden verwerkt door de gradiënt LLM.
   • Instructie-interferentie tijdens inferentie: De verslechtering van prestaties wanneer onafhankelijk optimale instructies worden gecombineerd in één enkele prompt, onafhankelijk van het optimalisatieproces.

Betekenis en Claims

De auteurs beweren dat deze resultaten de grenzen van de ontwerpruimte definiëren voor multi-objectieve beoordelaarsoptimalisatie met behulp van tekstuele feedback. De studie toont aan dat het simpelweg uitbreiden van single-objective tekstuele gradiëntmethodes naar multi-criteria instellingen ontoereikend is vanwege structurele incompatibiliteiten met vectorruimte-conflictoplossing.

De betekenis ligt in het identificeren dat het falen niet louter een gebrek aan optimalisatiekracht is, maar een fundamenteel probleem van signaaldilutie en instructie-interferentie. Het artikel betoogt dat voor practitioners om beoordelaars betrouwbaar aan te passen aan domeinspecifieke criteria, architecturale wijzigingen nodig zijn voordat multi-criteria prompt-optimalisatie betrouwbaar kan werken. Specifiek suggereren de auteurs dat het aanpakken van slechts één falingsmodus (bijv. het verbeteren van de gradiëntkwaliteit) ontoereikend is als interferentie tijdens inferentie blijft bestaan, en vice versa. Het werk biedt een diagnostisch kader om toekomstige benaderingen te evalueren en benadrukt dat naïeve combinaties van instructies per taak schadelijk zijn, wat nieuwe strategieën vereist voor het verwerken van multi-criteria feedback in LLM-beoordelaars.