Technische Samenvatting: Het modelleren van complexe gedragingen in Vision-Language Modellen

Probleemstelling

Nu Multimodale Large Language Models (MLLM's) steeds vaker worden ingezet in scenario's voor sociale interactie, zoals gezelschap en emotionele ondersteuning, is er een kritieke behoefte aan het begrijpen en beheersen van hun gedrag onder complexe persoonlijkheidscondities. Terwijl bestaand onderzoek uitgebreid de persoonlijkheidsconditionering in tekstgebaseerde Large Language Models (LLM's) heeft verkend, blijft de invloed ervan op visuele en multimodale taken onderbelicht. Bovendien behandelen huidige benaderingen persoonlijkheid vaak als een statische, globale beperking die vóór het begin van de dialoog wordt toegepast, waarbij geen rekening wordt gehouden met de dynamische aard van echte interacties waar aan eisen voor persoonlijkheid kan veranderen of wisselen binnen één enkel gesprek. Dit artikel adresseert de kloof in het begrip van hoe expliciete persoonlijkheidsconditionering het gedrag van MLLM's, de prestaties op downstream-taken en het vermogen van het model om multi-trait composities en dynamische wisselingen aan te kunnen, beïnvloedt.

Methodologie

De auteurs introduceren een systematisch evaluatiekader voor persoonlijkheidsconditionering in MLLM's, gebruikmakend van twee basismodellen: LLaVA-v1.6-7B en Qwen2.5-VL-7B. De studie maakt gebruik van twee prompt-gebaseerde inductiemethoden: PERSONALITY PROMPTING (P2), die eigenschappen (traits) in kaart brengt naar gestructureerde natuurlijke taalbeschrijvingen, en BIG5-SCALER, die de Big Five-eigenschappen codeert met intensiteitswaarden.

Het onderzoek onderzoekt drie verschillende scenario's:

1. Single-Personality Induction: Het model wordt geconditioneerd op één enkele Big Five-eigenschap (Openness, Conscientiousness, Extraversion, Agreeableness of Neuroticism) op een hoog of laag niveau via systeemprompts.
2. Multi-Personality Induction: De auteurs componeren meerdere niet-conflicterende persoonlijkheidseigenschappen tot een verenigde prompt met behulp van een hulp-LLM om samengestelde persoonlijkheidsgedragingen te genereren. Zij geven prioriteit aan combinaties met uitgelijnde gedragstendenities om signaalconflicten te vermijden.
3. In-Conversation Personality Switching: Het model wordt geïnduceerd met een initiële persoonlijkheid, voert een dialoog met meerdere beurten, en krijgt vervolgens de instructie om binnen hetzelfde doorlopende gesprek over te schakelen naar een andere persoonlijkheidsinstelling. Dit simuleert dynamische verschuivingen in persoonlijkheidsrestricties.

Prestaties worden geëvalueerd via:

• Persoonlijkheidsbeoordeling: Gebruik van de Big Five Inventory (BFI) en IPIP-NEO psychometrische instrumenten om de trait-inductie te verifiëren.
• Downstream Multimodale Taken: Beeldbeschrijving (op de DOCCI- en COCO-datasets met behulp van BLEU-4, METEOR, CAPTURE, en object/relatie herkenningsmetrieken) en Visual Question Answering (VQA) over zeven benchmarks (CCBench, HallusionBench, MathVista, MMBench, MMMU, MMStar, SEED-Bench).

Belangrijkste Resultaten

Single-Personality Induction

• Trait Induction: Prompt-gebaseerde methoden verschuiven de scores van het model effectief langs doeldimensies (bijv. een hoge Conscientiousness verhoogt de C-scores). Er wordt echter een systematische cross-trait koppeling waargenomen; het aanpassen van één dimensie moduleert vaak gerelateerde eigenschappen (bijv. het verhogen van Extraversion verhoogt ook Openness en Agreeableness).
• Taakprestaties:
  • Image Captioning: Persoonlijkheidsconditionering verbetert de prestaties over de baseline. Hoge Conscientiousness, Extraversion en Openness leveren completere en meer gestructureerde beschrijvingen op, wat de BLEU-4 en semantische dekking verbetert.
  • Visual Question Answering (VQA): Conditionering belemmert vaak de prestaties bij taken die precieze redenering en hallucinatie-detectie vereisen. Bijvoorbeeld, hoge Extraversion vermindert de HallusionBench qACC aanzienlijk (van 40.6 naar 14.1), waarschijnlijk omdat expressieve stijlen conflicteren met de conservatieve, op bewijs gebaseerde antwoorden die vereist zijn voor deze benchmarks. Omgekeerd mitigeren instellingen met een lage intensiteit deze degradatie vaak.

Multi-Personality Induction

• Trait Compositie: Modellen kunnen gezamenlijk meerdere eigenschappen modelleren, hoewel de sterkte van individuele eigenschappen vaak iets gematigd wordt vergeleken met single-trait inductie door balancerende effecten.
• Taakprestaties:
  • Image Captioning: Multi-trait configuraties presteren consistent beter dan de niet-geconditioneerde baseline en overtreffen vaak single-trait instellingen, wat resulteert in een verbeterde expressieve kwaliteit en stabiliteit (bijv. een kleinere variantie in CAPTURE-scores).
  • VQA: Multi-trait combinaties leiden tot een matige daling in de algehele nauwkeurigheid vergeleken met de baseline. De resultaten onthullen echter superpositie- en cancellatie-effecten. Bepaalde combinaties kunnen zwakheden gevonden in single-trait settings compenseren (bijv. het combineren van lage Conscientiousness en lage Openness verbetert de MMMU-prestaties vergeleken met de baseline).

In-Conversation Personality Switching

• Dynamische Adaptatie: Modellen kunnen halverwege een gesprek van persoonlijkheid wisselen, maar de geuite sterkte van de nieuwe persoonlijkheid is over het algemeen lager dan bij single-round inductie. Dit duidt op residuele effecten, waarbij de vorige persoonlijkheidstoestand de nieuwe instelling gedeeltelijk beïnvloedt.
• Taakprestaties:
  • Image Captioning: Wisselende instellingen presteren beter dan de baseline, waarbij het prestatieniveau tussen de extremen van de initiële en de gewisselde persoonlijkheid in ligt, wat wijst op een gezamenlijke invloed van beide restricties.
  • VQA: Wisselen mitigeert de ernstige prestatiedegradatie gezien in specifieke single-trait settings (bijv. het wisselen van hoge naar lage Extraversion herstelt de HallusionBench qACC van 14.1 naar ~22.4). Het gedrag van het model reflecteert een "balancerend effect" in plaats van een volledige overschrijving van de vorige staat.

Beperkingen en Overdraagbaarheid

De studie benadlicht dat bestaande prompt-gebaseerde persoonlijkheidsinductiemethoden een beperkte overdraagbaarheid vertonen naar multimodale settings. Specifiek faalde BIG5-SCALER in het induceren van persoonlijkheid in Qwen2.5-VL-7B, en faalde P2 op LLaVA-v1.6-7B. Bovendien blijft de persoonlijkheidsbeoordeling voor multimodale modellen grotendeels tekstgebaseerd, wat potentieel faalt in het volledig vatten van de reikwijdte van multimodale gedragingen.

Betekenis en Bijdragen

Dit werk vormt de eerste systematische onderzoek naar expliciete persoonlijkheidsconditionering in MLLM's, waarbij verder wordt gekeken dan statische, enkel tekstgebaseerde restricties. De belangrijkste bijdragen zijn:

1. Systematische Evaluatie: Het vaststellen van een kader dat single-trait, multi-trait en dynamische persoonlijkheidswisselingen in multimodale contexten dekt.
2. Gedragsinzichten: Het onthullen dat persoonlijkheidsinductie een trade-off creëert: het verhoogt de beschrijvende rijkdom in image captioning, maar kan precisie-gevoelige redeneertaken zoals VQA verslechteren.
3. Complexe Dynamiek: Het aantonen dat het gedrag van het model in multimodale settings co-gemoduleerd wordt door huidige en voorgaande persoonlijkheidsrestricties, waarbij het balancerende, residuele en cancellatie-effecten vertoont tijdens multi-trait compositie en wisseling.
4. Methodologische Kloof: Het identificeren van de beperkte effectiviteit van huidige tekstgebaseerde prompting-strategieën in multimodale modellen, wat de noodzaak onderstreept voor robuuste, op maat gemaakte inductie- en evaluatiemethoden die specifiek voor MLLM's zijn ontworpen.

De auteurs concluderen dat persoonlijkheidscontrole in MLLM's complex is en robuustere strategieën vereist om een balans te vinden tussen interactiekwaliteit en taakprestaties.