FOCUS: Decoupling Expert Personas in LLMs to Enhance Domain Expert Capabilities

Technische Samenvatting: FOCUS (Fine-tuning met Orthogonale Controle voor Ontkoppelde Persona's)

Probleemstelling
Large Language Models (LLM's) bezitten het vermogen om diverse persona's te vertonen, en het activeren van specifieke "expert-persona's" heeft aangetoond de prestaties te verbeteren in domeinspecifieke taken zoals wiskundige redenering en de gezondheidszorg. Echter, bestaande methoden voor persona-controle lijden vaak aan cross-domain koppeling. Omdat LLM's zijn getraind op gemengde data, zijn de interne representaties van verschillende expert-persona's (bijv. medisch, juridisch, financieel) niet onafhankelijk. Deze koppeling leidt tot gedragsconflicten: een persona die geoptimaliseerd is voor één domein kan ongewenste eigenschappen vertonen in een ander domein. Een "agressieve" financiële handelspersona zou bijvoorbeeld, indien onbedoeld geactiveerd in een medische context, kunnen leiden tot overmoedige, risicovolle reacties die de patiëntveiligheid in gevaar brengen. Omgekeerd kan overmatige voorzichtigheid vanuit een medisch persona het risicosensitieve redeneren in de financiële handel kunnen hinderen. Huidige benaderingen, inclusief prompt-gebaseerde activatie en eenvoudige vector-steering, slagen er niet in om deze conflicterende gedragsfactoren te ontkoppelen, wat resulteert in instabiele prestaties en onzuivere domein-alignering.

Methodologie
Om deze beperkingen aan te pakken, stellen de auteurs FOCUS voor, een framework dat is ontworpen om domeinspecifieke expert-persona's te ontkoppelen en te controleren via een driestaps-proces:

1. Extractie van Expert-Persona Vectoren:
   De auteurs construeren eerst een geautomatiseerde pijplijn om persona-vectoren uit de residual stream van de LLM te extraheren. Met behulp van contrastieve systeem-prompts (positieve prompts om expertgedrag op te roepen versus negatieve prompts om het te onderdrukken) en domeinspecifieke vraag-antwoordparen, berekenen zij het verschil tussen de gemiddelde activatievectoren van de positieve en negatieve respons-sets. Dit levert kandidaat-vectoren op voor algemene experts ($v_g$) en specifieke domeinen: finance ($v_f$), recht ($v_l$) en geneeskunde ($v_m$).

2. Orthogonale Decompositie (Ontkoppeling):
   Om cross-domain interferentie te elimineren, past de methode Gram-Schmidt orthogonalisatie toe. De algemene expert-vector $v_g$ wordt genormaliseerd om als orthogonale basis te dienen. Elke domeinspecifieke vector wordt vervolgens geprojecteerd op deze basis, en het projectiecomponent wordt afgetrokken. Dit proces verwijdert de "algemene expert" en gedeelde cross-domain componenten uit de specifieke vectoren, wat resulteert in een set ontkoppelde, orthogonale persona-vectoren ($q_g, q_f, q_l, q_m$) die pure domeinkennis vertegenwoordigen.

3. Twee-fasen Training met Expert Gating:
   Een lichtgewicht expert gating module wordt ingevoegd na de Feed-Forward Network (FFN) sublaag van de Transformer. Deze module, bestaande uit een twee-laagse MLP en een Softmax-functie, berekent dynamisch gewichten ($\alpha$) om de ontkoppelde persona-vectoren te combineren op basis van de input-context. De training volgt een twee-fasen strategie:

   • Fase 1 (Single-Domain Alignment): Het model wordt gefinetuned op single-domain datasets met een gated selection regularizer. Deze loss-term stimuleert de gating-gewichten om schaars te worden (naderend naar 1 voor het juiste domein en 0 voor anderen), waardoor het model leert de specifieke expert-vector te activeren voor single-domain taken.
   • Fase 2 (Cross-Domain Generalisatie): Het model wordt gefinetuned op een gemengde dataset die zowel single-domain als cross-domain samples bevat. De regularizer wordt verwijderd, waardoor het model leert om adaptieve gewicht-combinaties te gebruiken voor complexe taken die meerdere expert-perspectieven vereisen zonder expliciete selectiebeperkingen.

Belangrijkste Bijdragen

• Identificatie van Koppeling-instabiliteit: Het paper identificeert dat gekoppelde expert-persona's leiden tot instabiele prestaties en gedragsconflicten in domeintaken door conflicterende vereisten (bijv. voorzichtigheid versus risico-nemend gedrag).
• FOCUS Framework: De voorstel van een nieuw framework dat orthogonale decompositie combineert om persona-vectoren te ontkoppelen met een gated selectiemechanisme om ze adaptief te activeren.
• Prestatieverbetering: Demonstratie dat FOCUS de nauwkeurigheid van antwoorden verbetert in financiële, juridische en medische domeinen, evenals in cross-domain scenario's, waarbij het bestaande persona-controle methoden en standaard supervised fine-tuning (SFT) overtreft.

Experimentele Resultaten
Experimenten werden uitgevoerd op benchmarks inclusief aandelenvoorspelling (Finance), LegalBench (Law), Professional Medicine (MedQA/MMLU) en cross-domain datasets (MedEthicsQA, CUAD).

• Nauwkeurigheid: FOCUS presteerde consequent beter dan de baselines, inclusief prompt-gebaseerde steering, inference-time steering en standaard SFT. Merkwaardig genoeg overtrof het verschillende domeinspecifieke modellen (bijv. Finance-Chat, Law-Chat) die vertrouwen op grootschalige domeinspecifieke trainingsdata.
• Cross-Domain Capaciteit: Op cross-domain taken behaalde FOCUS de beste resultaten van alle vergeleken methoden, wat zijn vermogen aantoont om meerdere persona-vectoren (bijv. het combineren van medische en juridische redenering) effectief samen te stellen.
• Ablatie-studies:
  • Ontkoppeling: Het verwijderen van de orthogonale ontkoppelingsstap leidde tot consistente prestatievermindering, wat bevestigt dat de ruwe geëxtraheerde vectoren interfererende componenten bevatten.
  • Twee-fasen Training: Het verwijderen van ofwel Fase 1 (schaarsheid) of Fase 2 (adaptatie) verminderde de prestaties, wat aangeeft dat zowel gefocuste single-domain activatie als flexibele cross-domain compositie noodzakelijk zijn.
  • Gating Sterkte ($\gamma$): Een optimale schaleringsfactor ($\gamma=2$) werd gevonden; waarden die te laag waren, slaagden er niet in om persona-kenmerken te injecteren, terwijl waarden die te hoog waren leidden tot "persona over-reinforcement", wat resulteerde in een verlies van generalisatie.

Betekenis
Het paper beweert dat FOCUS een nieuwe aanpak biedt voor efficiënte domeinadaptatie voor LLM's. Door de interne expert-representaties expliciet te ontkoppelen en te controleren, adresseert het de instabiliteit veroorzaakt door cross-domain koppeling zonder dat enorme hoeveelheden domeinspecifieke data nodig zijn voor hertraining. De resultaten suggereren dat gestructureerde controle over persona-vectoren modellen in staat stelt om een hoge zuiverheid in domeinspecifieke redenering te behouden terwijl ze de flexibiliteit behouden om complexe, veelzijdige taken aan te pakken, wat een veelbelovende richting biedt voor het verbeteren van de betrouwbaarheid van LLM's in kritieke domeinen.