Funny or Persuasive, but Not Both: Evaluating Fine-Grained Multi-Concept Control in LLMs

Technische Samenvatting: Grappig of Overtuigend, maar Niet Beiden: Evaluatie van Fijnmazige Multi-concept Controle in LLM's

Probleemstelling
Grote taalmodellen (LLM's) bezitten sterke generatieve vermogens, maar veel toepassingen vereisen expliciete, fijnmazige controle over specifieke tekstuele concepten zoals humor, overtuigingskracht of formaliteit. Hoewel eerder werk de controle via prompting, representatie-engineering en stijltransfer heeft verkend, bieden deze benaderingen over het algemeen grove of enkelvoudige attribuutcontrole. Bestaande benchmarks, zoals SCTG, beoordelen de kalibratie voor één attribuut tegelijk, maar falen in het evalueren van hoe modellen zich gedragen wanneer twee verschillende concepten gelijktijdig worden gecontroleerd. Het centrale probleem dat wordt aangepakt, is het gebrek aan een systematische evaluatie voor fijnmazige multi-concept controle en de onbekende mate waarin modellen onafhankelijke stilistische dimensies kunnen ontwarren en componeren.

Methodologie
De auteurs introduceren een systematisch evaluatiekader ontworpen om fijnmazige controleerbaarheid te beoordelen in zowel single- als dual-concept settings.

• Definitie van het kader: De taak wordt gedefinieerd als het genereren van tekst $y$ gegeven een context $x$ en doelconcepten $C_a, C_b$ met gewenste discrete niveaus $\ell \in \{0, \dots, 4\}$. Het kader evalueert:
  1. Single-concept controle: Het genereren van outputs over niveaus voor één concept.
  2. Dual-concept controle: Het genereren van outputs waarbij één concept het doel is (variërende niveaus), terwijl een secundair concept vaststaat op een specifiek niveau of willekeurig wordt gesampled.
• Evaluatieprotocol:
  • Modellen: De studie evalueert middelgrote, instructie-getunede LLM's (7B–14B parameters), specifiek Llama 3.2-11B, Gemma 3-12B en Qwen3-14B.
  • Concepten: Zes taalkundig onderscheidende concepten worden getest: humor, overtuigingskracht, helderheid, beleefdheid, assertiviteit en formaliteit. Drie paren zijn geselecteerd op basis van theoretische en empirische aanwijzingen van hun onderscheidend vermogen: humor–overtuigingskracht, helderheid–beleefdheid, en assertiviteit–formaliteit.
  • Taken: Experimenten bestrijken argumentatiegeneratie, verhaalgeneratie en gestructureerde tekstgeneratie.
  • Metriek: Een sterker LLM (GPT-4.1) fungeert als rechter en voert paarsgewijze vergelijkingen uit van gegenereerde outputs om te bepalen welke meer van het doelconcept vertoont. De afstemming tussen de beoogde niveaus en de empirische rangschikking door de rechter wordt gemeten met de Spearman rangcorrelatie ($\rho$). Fisher z-transformaties worden toegepast voor statistische aggregatie en hypothesetests.
• Controlemethode: De studie richt zich op prompt-gebaseerde controle, gebruikmakend van gestructureerde prompt-templates die de gewenste intensiteiten van concepten expliciet coderen.

Belangrijkste Resultaten
De experimenten onthullen een aanzienlijk gat tussen single-concept en dual-concept prestaties:

1. Prestatievermindering in Dual-concept Settings: Terwijl modellen over het algemeen een sterke fijnmazige kalibratie bereiken voor individuele concepten (hoge Spearman-correlaties), daalt de prestatie scherp wanneer een secundair concept wordt geïntroduceerd. Deze daling vindt plaats, zelfs voor conceptparen die intuïtief orthogonaal zijn (bijv. helderheid versus humor).
2. Falen van Compositieschap: De resultaten suggereren dat conceptdimensies in huidige LLM's verstrengeld zijn op manieren die naïeve compositie weerstaan. Zelfs wanneer concepten onafhankelijk zouden moeten zijn, ondermijnt de aanwezigheid van een secundair controlesignaal het vermogen van het model om het beoogde niveau van het primaire concept te behouden.
3. Variantie in Model en Taak:
   • Modelgrootte/Architectuur: Qwen-14B en Gemma-12B presteren consequent beter dan Llama-11B in alle settings, wat suggereert dat grotere of beter instructie-getunede modellen de ontwarring tussen stilistische dimensies beter bewaren.
   • Taakcontext: Narratieve generatie staat meer flexibele stijlvariatie toe, terwijl argumentatieve en gestructureerde contexten conflicten tussen stilistische doelen versterken, wat leidt tot meer uitgesproken prestatiedalingen.
4. Statistische Significantie: Gepaard uitgevoerde t-testen op Fisher-getransformeerde correlaties bevestigen dat de introductie van een secundair concept de controleerbaarheid voor de meeste conceptparen en modellen significant schaadt (bijv. $p < 0,05$ voor veel vergelijkingen).

Belangrijkste Bijdragen

1. Evaluatiekader: Het artikel biedt een principieel, model- en methode-agnostisch kader voor het meten van fijnmazige multi-concept controleerbaarheid, waarmee een gat wordt opgevuld dat door single-attribuut benchmarks wordt achtergelaten.
2. Empirisch Bewijs van Beperkingen: Het biedt systematisch bewijs dat huidige LLM's moeite hebben met de compositieschap van stilistische controle, zelfs wanneer concepten theoretisch onafhankelijk zijn.
3. Baseline voor Toekomstig Onderzoek: Door duidelijke metrieken vast te stellen en veelvoorkomende foutmodi te identificeren (specifiek de daling in prestaties tijdens dual-concept controle), legt dit werk een fundament voor de ontwikkeling van robuustere methoden voor interpreteerbare, multidimensionale stilistische controle.

Significantie
Het artikel stelt dat hoewel prompting een breed toegankelijke methode biedt voor single-concept controle, het een fundamentele beperking onthult: modellen hebben moeite met het gezamenlijk coördineren van meerdere stilistische dimensies. De auteurs stellen dat dit werk een noodzakelijke basis legt voor toekomstig onderzoek naar interpreteerbare en compositionele conceptcontrole. Door het gat te kwantificeren tussen de beoogde en gerealiseerde controle in multi-concept scenario's, beoogt het kader de ontwikkeling van methoden te stimuleren die in staat zijn tot precieze, fijnmazige en ontwarnde controle over meerdere stilistische assen in taalmodellen. De auteurs blijven bescheiden en merken op dat hun conclusies niet uitgaan van conceptuele scheidbaarheid in de interne representaties van het model, maar zich richten op het gebruikersgerichte vermogen om aparte niveaus voor verschillende concepten te specificeren en te bereiken.