Do LLMs Adhere to Label Definitions? Examining Their Receptivity to External Label Definitions

Titel: Adheren LLM's aan Labeldefinities? Een Onderzoek naar Hun Ontvankelijkheid voor Externe Definities

1. Probleemstelling

Grootte Taalmodellen (LLM's) worden vaak gebruikt voor classificatietaken waarbij labeldefinities worden gebruikt om de taak te verduidelijken (bijv. wat betekent "neutraal" in een NLI-taak?). De centrale vraag van dit onderzoek is of LLM's deze externe definities daadwerkelijk integreren in hun besluitvormingsproces, of dat ze voornamelijk vertrouwen op hun interne, parametrische kennis (vooraf getrainde kennis).

Er bestaat een onduidelijkheid over hoe modellen omgaan met kennisconflicten (wanneer een externe definitie strijdig is met de interne kennis van het model) en definitiesintegratie (hoe definities in prompts worden gepresenteerd). Het paper illustreert dit met een voorbeeld waarbij een model (LLaMA-3) de juiste classificatie maakt als de definitie correct is, maar faalt of onvoorspelbaar gedrag vertoont wanneer de definitie verkeerd is of wanneer labels worden verwisseld.

2. Methodologie

De auteurs hebben gecontroleerde experimenten uitgevoerd over vier diverse datasets die zowel algemene als domeinspecifieke taken dekken:

• e-SNLI: Algemene natuurlijke taal-inferentie (NLI).
• WELLXPLAIN: Classificatie van mentale gezondheid.
• HATEXPLAIN: Detectie van haatzaaiende taal.
• WICE: Feitenchecken (evidentie-selectie).

Ze hebben vier state-of-the-art LLM's getest met verschillende architecturen en groottes: GPT-4, LLaMA-3, Phi-3 en Mistral-7B.

De experimenten bestonden uit twee hoofdstrategieën:

A. Kennisconflicten (Knowledge Conflict)
Hierbij werd gekeken hoe modellen reageren op conflicterende informatie:

1. Definitie-accuraatheid: Definities werden gecategoriseerd als correct, licht onjuist (subtiel misleidend) en volledig onjuist (logisch tegenstrijdig).
2. Permutatie-analyse: Alle mogelijke permutaties van label-definitie-paren werden getest. Als een label (bijv. "Entailment") een definitie kreeg die eigenlijk bij een ander label hoorde, werd gekeken of het model de externe definitie volgde of terugviel op interne kennis.
   • Meting: Matthews Correlation Coefficient (MCC) voor classificatie en ROUGE/F1 voor uitlegkwaliteit.

B. Definitiesintegratie (Definition Integration)
Hierbij werd geëvalueerd hoe de presentatie en bron van de definitie de prestaties beïnvloeden via vier condities:

1. Vanilla (Zero-shot): Geen externe definities, puur interne kennis.
2. Vaste definitie: Expert-gedefinieerde teksten in de prompt.
3. Aangepaste definitie: Dynamisch gegenereerde definities per input, gebaseerd op K-Nearest Neighbors (K-NN) retrieval uit de trainingsdata.
4. Definitie + Few-shot: Vaste definities gecombineerd met voorbeeldcases.

3. Belangrijkste Bijdragen

1. Evaluatiestrategieën: Ontwikkeling van methoden om de prestaties en verklaarbaarheid van LLM's te meten bij het gebruik van labeldefinities als lichtgewicht externe kennisinjectie.
2. Probing-strategieën: Introductie van definitie-permutatie en definitiestoring om de gevoeligheid van modellen voor de kwaliteit en uitlijning van definities te testen.
3. Cross-domein analyse: Uitgebreide experimenten over vier benchmarks die laten zien dat receptiviteit voor definities sterk varieert per taakdomein en modelgrootte.
4. Ontdekking van een disconnectie: Het vaststellen van een kloof tussen de kwaliteit van de gegenereerde uitleg (competentie) en de classificatie-accuraatheid (performantie).

4. Resultaten en Analyse

A. Gevoeligheid voor Definitiekwaliteit

• Algemene taken (e-SNLI): Modellen zijn vaak minder gevoelig voor externe definities en vertrouwen meer op hun interne kennis. Bijvoorbeeld, bij e-SNLI presteerden sommige modellen zelfs slechter met expliciete definities dan zonder (vanilla), omdat de definities interfereren met de sterke interne representaties.
• Domeinspecifieke taken (Mentale gezondheid, Hate Speech): Hier zijn modellen veel afhankelijker van expliciete definities. Zelfs kleinere modellen (zoals Mistral-7B en Phi-3) tonen enorme prestatieverbeteringen (tot wel 110% of een factor 10) wanneer precieze definities worden gegeven. Dit suggereert dat ze minder sterke interne representaties hebben voor deze specifieke domeinen.
• GPT-4's unieke gedrag: GPT-4 toonde een "meta-respons": bij sterk tegenstrijdige definities weigerde het model om een voorspelling te doen (abstention), wat wijst op geavanceerde metacognitie en veiligheidsuitlijning (RLHF). Andere modellen gaven gewoon een fout antwoord.

B. Permutatie-resultaten

• Wanneer definities werden verwisseld (misaligned), daalde de prestatie significant, wat aantoont dat modellen inderdaad de externe tekst lezen. Echter, de mate van daling varieerde; bij sommige taken (zoals e-SNLI) bleef het model soms toch de "juiste" interne betekenis hanteren ondanks de verkeerde definitie.

C. Integratiestrategieën

• Aangepaste definities (K-NN): Definities die specifiek zijn toegespitst op de input (via retrieval) verbeterden vaak de uitlegkwaliteit aanzienlijk (hoge ROUGE-scores), maar dit vertaalde zich niet altijd naar een hogere classificatie-accuraatheid.
• Few-shot + Definities: Dit leidde soms tot verwarring en lagere prestaties bij algemene taken, maar was zeer effectief bij domeinspecifieke taken.
• De Competentie-Performantie KLOOF: Een cruciale bevinding is dat definities de verklaringen van het model sterk verbeteren (het model kan de concepten beter uitleggen), maar dit garandeert niet dat de classificatie correcter wordt. Het model kan een perfecte uitleg geven die logisch klopt met de definitie, maar toch de verkeerde label kiezen op basis van interne patronen.

D. WICE (Feitenchecken)

• Bij feitenchecken (WICE) hadden definities weinig invloed op de prestaties. Dit suggereert dat deze taak meer afhankelijk is van feitelijke patroonherkenning dan van semantische labeldefinities.

5. Betekenis en Conclusie

De studie concludeert dat LLM's niet uniform reageren op externe definities. De receptiviteit hangt af van:

1. Modelgrootte en Architectuur: Kleinere modellen zijn vaak afhankelijker van expliciete instructies in gespecialiseerde domeinen, terwijl grotere modellen (zoals GPT-4) meer vertrouwen op interne kennis en soms zelfs conflicterende instructies afwijzen.
2. Domein: Algemene taalbegrip-taken profiteren minder van definities dan gespecialiseerde domeinen (zoals mentale gezondheid), waar definities essentieel zijn voor correcte interpretatie.
3. Toepassing: Voor high-stakes toepassingen (zoals contentmoderation of diagnose) is het cruciaal om nauwkeurige, context-specifieke definities te gebruiken, vooral voor kleinere modellen.

Praktische Implicaties:

• Voor edge devices en kleinere modellen is het gebruik van zorgvuldig samengestelde, domeinspecifieke definities een kosteneffectieve manier om prestaties te verhogen.
• In cloud-omgevingen met grote modellen kan het nuttig zijn om definities te gebruiken om de transparantie en betrouwbaarheid van uitleggen te vergroten, zelfs als de classificatie-accuraatheid niet altijd verbetert.
• Er is een noodzaak voor dieper mechanistisch inzicht in hoe definities worden verwerkt, en toekomstig werk zou zich moeten richten op het testen van "betwiste maar geldige" definities (waar experts het oneens zijn) en het gebruik van fine-tuning in plaats van alleen prompting.

Kortom, LLM's zijn niet volledig "geprogrammeerd" om externe definities te volgen; ze balanceren continu tussen externe instructies en hun eigen interne wereldmodel, waarbij de uitkomst sterk afhankelijk is van de context en de taak.