SURGELLM: Rethinking Multi-Task Evaluation through Task-Aware Feature Gating with Class-Balanced Normalization

Technische Samenvatting: SURGELLM

Probleemstelling
Gefinetunede encoders die worden ingezet voor heterogene NLP-taken (Natural Language Processing) staan voor drie cumulerende uitdagingen:

1. Mismatched Inductive Biases: Taken met verschillende vocabulaires, labelruimtes en registers (bijv. sentimentanalyse versus multi-hop retrieval) interfereren destructief wanneer ze door een enkele gedeelde encoder worden afgehandeld.
2. Class-Imbalance Corruption: Ernstige klasse-scheefheid in de trainingsdata besmet de feature-statistieken, waardoor normalisatielagen het model naar de meerderheidsklasse sturen.
3. Gebrek aan Externe Conditionering: Standaard encoders missen een mechanisme om de aandacht te conditioneren op externe, gecureerde lexicale kennis (bijv. stilometrische indicatoren) die tijdens het fine-tunen mogelijk wordt weggegooid of onderbenut, vooral wanneer sequentie-truncatie globale statistieken vernietigt.

Methodologie: Het SURGELLM-framework
SURGELLM is een verenigd transformer-framework dat is ontworpen om deze problemen aan te pakken via drie toegewijde, lichtgewicht modules die zijn geïntegreerd in een standaard encoder-backbone (bijv. BERT, RoBERTa).

1. Surgical Feature Extraction:
   Het framework maakt gebruik van een "chirurgische vocabulaire" bestaande uit tien gecureerde lexicale indicatorgroepen (bijv. sentiment-polariteit, LLM-specifieke markers, retrieval cues) plus zes oppervlaktekenmerken (woordtelling, interpunctiedichtheid, etc.). Deze worden berekend op de volledige, niet-getrunceerde tekst om een 16-dimensionale feature-vector $s \in \mathbb{R}^{16}$ te genereren.

2. Task-Conditioned Prefix Tokens:
   Om feature-waarden direct in het aandachtmechanisme te injecteren, voegt het systeem een gestructureerde token-sequentie toe voor elke input: [TASK:tk | F1:v1 | ... | F16:v16]. Deze tokens worden door alle transformer-lagen gezamenlijk geobserveerd (co-attended), waardoor de lagere lagen de lexicale features kunnen conditioneren op de token-niveau context.

3. Surgical Feature Gate:
   Een geleerd, per-dimensie sigmoid gate fuseert de taak-geconditioneerde [CLS] representatie ($\tilde{h}$) met een niet-lineaire projectie van de chirurgische feature-vector ($s'$).

   • Mechanisme: De gate berekent een interpolatie-gewicht $g \in (0,1)^d$ voor elke verborgen dimensie, waardoor het model de semantische encoder-outputs selectief kan mengen met de lexicale features.
   • Veiligheid: De gate is zo ontworpen dat deze bewezen degradeert naar een identiteitsfunctie wanneer de features niet-informatief zijn, wat garandeert dat het de prestaties niet schaadt als de lexicale signalen irrelevant zijn.

4. Instance-Weighted Normalization (IWN):
   Dit is de kerninnovatie die klasse-imbalans aanpakt. Standaard normalisatie gebruikt globale statistieken ($\bar{s}, \sigma$) die over de gehele trainingsset zijn berekend en die in scheve datasets worden gedomineerd door de meerderheidsklasse. IWN vervangt deze door klasse-gebalanceerde statistieken ($\bar{s}_{bal}, \sigma_{bal}$), berekend als het gemiddelde van de per-klasse statistieken.

   • Effect: Dit verwijdert de klasse-prior bias uit de distributie van de gate-input zonder dat hiervoor labels nodig zijn tijdens de testfase. Het fungeert als een feature-statistiek correctie die orthogonaal staat aan correcties aan de loss-zijde of sampling-zijde.

Belangrijkste Bijdragen

• Unified Framework: Een plug-compatibele multi-task encoder die per-dimensie feature gates, taak-geconditioneerde prefix tokens en IWN integreert.
• Theoretische Garanties:
  • Een excess-risk bound (Stelling 1) die het voordeel van de gate koppelt aan de "chirurgische feature-alignment" ($\rho_k$).
  • Een degeneratie-resultaat (Propositie 2) dat bewijst dat de gate veilig is (degradeert naar identiteit) wanneer de features niet-informatief zijn.
• Nieuwe Normalisatie: De introductie van IWN, een feature-statistiek correctie specifiek voor augmented NLP gating, die orthogonaal is aan bestaande loss- of sampling-correcties.
• Auto-Extraction Recipe: Een methode die gebruikmaakt van log-odds en embedding clustering om 99,5% van de prestaties van handmatige curatie te herstellen, wat het mogelijk maakt om de chirurgische vocabulaire zonder handmatige inspanning over te dragen naar nieuwe domeinen.

Experimentele Resultaten
Het framework werd geëvalueerd over vier heterogene taken (SST-2 sentiment, HotPotQA multi-hop retrieval, LLM-prompt attributie, en menselijke/LLM auteurschapdetectie) met betrokkenheid van 17.830 voorbeelden en elf modelvarianten (DistilBERT, BERT, RoBERTa, ALBERT, T5-base) over drie seeds.

• Prestaties: De SURGELLM-IWN variant die RoBERTa gebruikt, bereikte een geaggregeerde macro-F1 van 0,940. Dit is een verbetering van +0,036 ten opzichte van de sterkste niet-IWN baseline en een absolute winst van +0,130 op de auteurschapdetectie-taak (D4), de meest uitdagende en scheve dataset.
• Ablatie-studies:
  • Het verwijderen van IWN veroorzaakte een regressie in prestaties op D4 (van 0,892 naar 0,711), wat bevestigt dat de gate alleen onvoldoende is zonder gebalanceerde normalisatie.
  • Een random-vocabulary controle resulteerde in een gemiddelde F1-daling van -0,028 vergeleken met de gecureerde vocabulaire, wat bevestigt dat de winst voortkomt uit de lexicale inhoud en niet louter uit een groter aantal parameters.
  • T5-base (220M parameters) was competitief maar niet dominant, wat benadrukt dat structureel heterogene taken meer profiteren van de expliciete feature-injectie van SURGELLM dan van een generieke text-to-text architectuur.
• Efficiëntie: SURGELLM-IWN-RoBERTa is Pareto-efficiënt; het behaalt de hoogste gemiddelde F1 met een trainings-overhead van slechts ~4,0x vergeleken met de baseline, terwijl het aanzienlijk minder parameters gebruikt dan T5-base.

Betekenis en Claims
Het artikel stelt dat SURGELLM de waarde aantoont van het heroverwegen van feature-augmented neural NLP, niet als een overblijfsel uit het pre-transformer tijdperk, maar als een fundamenteel zijkanaal dat contextuele representaties complementeert.

• Lexicaal vs. Parametrisch: De resultaten bevestigen dat expliciete lexicale indicatoren, mits correct gegated en genormaliseerd, signalen bieden die fine-tuning alleen niet kan vangen, met name bij taken met uiteenlopende oppervlaktesignalen.
• Statistische Preconditionering: Het succes van IWN benadrukt dat architecturale priors (de gate) moeten worden losgekoppeld van statistische preconditionering (klasse-imbalans in feature-statistieken) om effectief te functioneren.
• Schaalbaarheid: Het framework is ontworpen om lichtgewicht en schaalbaar te zijn, waarbij het aantal parameters van de gate lineair is in de verborgen dimensie en asymptotisch verwaarloosbaar ten opzichte van de encoder.

De auteurs concluderen dat hoewel het huidige werk beperkt is tot Engels en base-scale encoders, de "chirurgische gate" een levensvatbare methode vertegenwoordigt voor het integreren van externe kennis, wat suggereert dat er ook andere dergelijke kanalen bestaan.