LiFT: Does Instruction Fine-Tuning Improve In-Context Learning for Longitudinal Modelling by Large Language Models?

Titel: LiFT: Verbetert Instruction Fine-Tuning In-Context Learning voor Longitudinale Modellering door Grootte Taalmodellen?

Auteurs: Iqra Ali, Talia Tseriotou, Mahmud Elahi Akhter, Yuxiang Zhou, Maria Liakata (Queen Mary University of London & The Alan Turing Institute).

1. Het Probleem

Veel real-world NLP-toepassingen vereisen het begrijpen van hoe taal, gedrag en latente gebruikersstaten evolueren in de tijd. Dit valt onder longitudinale modellering, waarbij observaties worden geanalyseerd als tijdsgeordende sequenties in plaats van onafhankelijke instanties.

Hoewel Large Language Models (LLM's) sterke algemene capaciteiten hebben, worstelen ze met longitudinale taken in zero-shot of few-shot prompting settings. De huidige uitdagingen zijn:

• Integratie van historische context: Modellen moeten verleden context effectively integreren om persistentie en verandering te detecteren.
• Trage evolutie van interacties: Het volgen van veranderende stellingen of stemmingen over lange tijdshorizons.
• Zeldzame gebeurtenissen: Het detecteren van zeldzame veranderingen (bijv. mentale gezondheidsschommelingen) die vaak verspreid zijn over meerdere observaties.
• Beperkingen van prompting: Bestaande methoden plakken vaak historische observaties simpelweg aan elkaar in één prompt zonder expliciete modellering van de temporele structuur, wat leidt tot suboptimale prestaties, vooral bij onbekende domeinen (out-of-distribution).

2. Methodologie: Het LiFT Framework

De auteurs introduceren LiFT (Longitudinal Instruction Fine-Tuning), een raamwerk dat longitudinale modelleringstaken unificeert onder een gedeelde instructieschema en de prestaties van LLM's verbetert via een combinatie van curriculum learning en temporele conditionering.

Het framework bestaat uit twee hoofdmodules:

A. IFT Builder (Curriculum Constructie)

• Rollende Historie: Data wordt gegroepeerd per sequentie (bijv. gebruiker of onderwerp) en chronologisch gesorteerd. Trainingsextrems bestaan uit een rollende historische context () gekoppeld aan de huidige observatie ().
• Curriculum Learning: Training verloopt in drie fasen met toenemende temporele complexiteit:
  1. Stap 1 (AnnoMI): Gestructureerde dialogen met expliciete gedragsintenties (motivational interviewing).
  2. Stap 2 (LRS): Tijdsgeordende sociale mediabesprekingen met evoluerende standpunten en ruis.
  3. Stap 3 (TalkLife): Longitudinale mentale gezondheidstijdlijnen waar veranderingssignalen schaars en impliciet zijn.
• Few-shot Structuur: Het aantal in-context voorbeelden (shots) neemt toe van 1 naar 2 naar 3 naarmate het curriculum vordert.

B. IFT Trainer (Fine-Tuning)

• Parameter-efficiëntie: Gebruik van LoRA (Low-Rank Adaptation) om de basismodellen (OLMo, LLaMA, Qwen) aan te passen zonder de volledige gewichten te updaten.
• Temporeel-Label Conditionering: Een module die vier signalen injecteert in de token-embeddings:
  1. Absolute positie ($p_t$).
  2. Relatieve positie tot het einde ($r_t$).
  3. Globale label-ID ($z_t$).
  4. Absolute tijdstap-ID ($\tau_t$).
     Dit helpt het model om expliciet te begrijpen wanneer iets gebeurde en hoe het relateert aan de huidige taak.
• Multi-objective Loss: De training optimaliseert een gewogen som van vier verliesfuncties:
  1. Next-token Cross-Entropy: Voor instructie-opvolging (exclusief historie).
  2. Focal Language Modeling Loss: Gericht op de output-tokens.
  3. Focal Classification Loss: Voor het voorspellen van het eindlabel (bijv. verandering vs. geen verandering).
  4. History-Aware Auxiliary Loss: Een extra classificatiedoel dat het model dwingt voorspellende signalen te extraheren uit de historische context ().

3. Belangrijkste Bijdragen

1. LiFT Framework: Een curriculum-gebaseerd instructie-finetuning-raamwerk dat temporele moeilijkheid progressief verhoogt en few-shot demonstraties integreert om modellering over tijdsgeordende historie te stimuleren.
2. Temporele Conditionering: Voorstel van een temporeel-label conditioneringsmodule met geschiedenis-bewuste hulpdoelen om modellen te stimuleren voorspellende signalen uit verspreide context te halen.
3. Empirische Validatie: Uitgebreide experimenten tonen aan dat LiFT de zero- en few-shot prestaties verbetert over modellen van verschillende groottes (1B tot 14B parameters) en generaliseert naar ongezette domeinen.
4. Mechanistische Interpretatie: Door middel van probing, attentie-analyse en activatie-patching wordt aangetoond dat LiFT werkt door de afhankelijkheid van temporeel gestructureerde historie te verhogen, in plaats van alleen lokale classificatie te verbeteren.

4. Resultaten

De evaluatie omvatte vijf datasets (AnnoMI, LRS, TalkLife, Reddit, CMV) en vier modelarchitecturen (OLMo 1B/7B, LLaMA-8B, Qwen-14B).

• Prestatieverbetering: LiFT presteerde consistent beter dan de basismodellen met standaard In-Context Learning (ICL). De verbeteringen waren het grootst bij datasets met onbalans en zeldzame veranderingen (bijv. TalkLife en AnnoMI).
• Few-shot Gains: In tegenstelling tot basismodellen, die niet altijd profiteren van extra voorbeelden, verbeterde LiFT consequent bij het toevoegen van 1-shot en 3-shot voorbeelden.
• Generalisatie: Hoewel LiFT getraind werd op drie datasets, transferreerden de verbeteringen succesvol naar twee volledig ongezette testdatasets (Reddit en CMV).
• Ablatie Studies: Het verwijderen van temporele conditionering of curriculum learning leidde tot de grootste prestatiedalingen, wat aantoont dat deze componenten cruciaal zijn voor het modelleren van temporele afhankelijkheden.
• Interpretatie:
  • Probing: LiFT maakt label-informatie in de historische representaties makkelijker lineair decodeerbaar.
  • Attentie: Het model richt zich sterker op recente historie en verplaatst de attentie van instructie-scaffolding naar bewijsdragende regio's.
  • Activatie Patching: Het corrupten van de geschiedenisactivaties heeft een veel groter negatief effect op LiFT dan op basismodellen, wat causale afhankelijkheid van de historie bevestigt.

5. Significantie

Dit paper is significant omdat het een fundamentele beperking van huidige LLM's in longitudinale taken adresseert: het gebrek aan expliciete temporele redenering.

• Van Static naar Dynamic: Het bewijst dat instructie-finetuning, wanneer gecombineerd met temporele conditionering en curriculum learning, LLM's in staat stelt om niet alleen tekst te begrijpen, maar ook de evolutie van die tekst in de tijd.
• Toepassingsgebied: De resultaten zijn direct relevant voor domeinen zoals mentale gezondheidsmonitoring, klinische voorspelling, standpuntverandering in sociale media en multi-sessie dialoogredenering.
• Robuustheid: LiFT biedt een schaalbare oplossing die werkt over verschillende modelgroottes en domeinen, zonder dat er gespecialiseerde architecturen (zoals RNN's) nodig zijn, maar door slim gebruik van bestaande transformer-architecturen met instructie-tuning.

Kortom, LiFT toont aan dat het correct structureren van trainingdata en het injecteren van temporele signalen tijdens fine-tuning essentieel zijn om LLM's effectief te maken voor complexe, tijdgebonden redeneertaken.