Technische Samenvatting: Pair2Score

Probleemstelling

Veel evaluatie-toepassingen, met name Geautomatiseerd Essay Scoring (AES), vereisen absolute voorspellingen (bijvoorbeeld het toekennen van een specifieke score aan een essay op basis van een rubric). Het verzamelen van absolute labels is echter vaak resource-intensief, terwijl paarwijze vergelijkingen (het bepalen van welk van twee essays beter is) gemakkelijker te verkrijgen zijn en mogelijk sterkere lokale informatie bevatten.

De centrale onderzoeksvraag die door dit artikel wordt behandeld is: Kan paarwijze leren dienen als een effectief intermediair doel voor rubric-gealigneerde absolute essay scoring? Specifiek onderzoeken de auteurs hoe kennis kan worden overgedragen van een comparatief model dat is getraind op documentparen naar een downstream absolute scorer, met behulp van Large Language Models (LLM's).

Methodologie: Pair2Score Framework

De auteurs stellen Pair2Score voor, een tweestaps leerframework ontworpen om paarwijze vergelijkingen over te dragen naar absolute scoring met behulp van parameter-efficiënte LLM-adaptatie (LoRA). Het framework maakt gebruik van een Meta LLaMA-3.2-1B backbone en werkt als volgt:

Stap 1: Directionele Siamese Ranking (Relatief Doel)

• Architectuur: Een Siamese opstelling met een gedeelde LLaMA+LoRA backbone verwerkt twee documenten ($a$ en $b$).
• Doel: Het model leert een directionele voorkeur. Het gebruikt een bias-vrije lineaire utility-head om scalair nut $s(h_a)$ en $s(h_b)$ te berekenen uit gepoolde hidden representations. De vergelijking-logit wordt gedefinieerd als $\Delta(a, b) = s(h_a) - s(h_b)$.
• Beperking: Het ontwerp dwingt antisymmetrie af ($\Delta(b, a) = -\Delta(a, b)$), waardoor consistente voorkeuren worden gegarandeerd ongeacht de volgorde van de invoer.
• Verlies: Het model wordt getraind met behulp van paarwijze logistiek verlies om $\Delta(a, b) > 0$ te maximaliseren voor paren waarbij document $a$ een hogere absolute trait-label heeft dan $b$.
• Output: Deze stap levert een getrainde LoRA-adapter op en, optioneel, gepoolde embeddings.

Stap 2: Absolute Scoring met Transfer (Absoluut Doel)

• Doel: Een absolute regressor trainen om trait-scores (bijvoorbeeld grammatica, vocabulaire, syntaxis) direct te voorspellen, met optimalisatie van L1-verlies en evaluatie met Quadratic Weighted Kappa (QWK).
• Transfervormen: De auteurs vergelijken drie configuraties:
  1. Baseline (Alleen absoluut): Een nieuwe LoRA-adapter wordt vanaf nul getraind op absolute labels.
  2. Warm-start: De absolute scorer wordt geïnitieerd met de LoRA-adaptergewichten uit Stap 1 (de paarwijze head wordt verworpen).
  3. Embedding Fusion: Naast warm-start initialisatie worden vooraf berekende embeddings uit Stap 1 geconcateneerd met de huidige gepoolde representatie voordat de regressie-head wordt bereikt.
• Variabelen: Het onderzoek varieert de grootte van het paar-set (klein versus groot) en de duur van de paarwijze fase (standaard multi-epoch versus één enkele epoch).

Experimenteel Protocol

• Dataset: De Feedback Prize English Language Learning dataset (ELLIPSE corpus), met focus op drie traits: grammatica, vocabulaire en syntaxis.
• Evaluatie: Een vijf-voudige cross-validatie-protocol waarbij de vastgehouden fold en de random seed co-geroteerd worden (bijvoorbeeld: Fold A gebruikt seed 42, Fold B gebruikt seed 48). Hierdoor wordt stochasticiteit onderdeel van de gemeten evidentie in plaats van eruit te worden gemiddeld.
• Metingen: De primaire meting is test QWK.

Belangrijkste Bijdragen

1. Vormgeving van de Ontwerpruimte: Het artikel presenteert de overdracht van relatief naar absoluut scoring als een ontwerpruimte gedefinieerd door drie assen: intermediair doel, transfervorm en downstream doel. Het instantieert één specifiek pad (paarwijze voorkeur $\to$ warm-start/fusion $\to$ absolute regressie).
2. Empirische Bevindingen over Transfer: Over 15 fold-level evaluaties (3 traits $\times$ 5 folds) vinden de auteurs dat alleen de kwaliteit van de paarwijze ranking niet voorspelt of transfer de absolute scoring zal verbeteren. In plaats daarvan zijn de keuze van transfervorm en de duur van de paarwijze fase kritiek.
3. Duur-gevoeligheid: Een duidelijk patroon komt naar voren met betrekking tot de duur van de paarwijze fase: één enkele epoch van paarwijze training draagt betrouwbaarder over dan uitgebreide training. Dit suggereert dat de paarwijze fase primair fungeert als een effectieve vroege initialisatie in plaats van een langdurige optimalisatiefase voor ranking.
4. Gebrek aan Correlatie: Het onderzoek toont een zwakke correlatie aan tussen de paarwijze nauwkeurigheid van Stap 1 en de prestaties van de absolute scoring in Stap 2, wat aangeeft dat downstream succes meer afhankelijk is van de transfer-configuratie en variaties in fold/seed dan van marginale winsten in de ranking-metingen van Stap 1.

Resultaten

• Prestaties: De best presterende transfer-variant verbeterde de QWK ten opzichte van de alleen-absoluut baseline voor alle drie de traits (Grammatica, Vocabulaire, Syntaxis).
• Consistentie: Geen enkele configuratie domineerde over alle runs heen. Echter, wanneer de beste transfer-variant werd geselecteerd voor elke trait-fold evaluatie, presteerde paarwijze transfer beter dan de baseline in 11 van de 15 gevallen, met een gemiddelde $\Delta$QWK van +0,012.
• Invloed van Configuratie:
  • Duur: De "één-epoch" paarwijze instelling presteerde consistent beter of gelijk aan de "standaard" (multi-epoch) instelling over de meeste configuraties heen.
  • Grootte van het paar-set: Het verhogen van het aantal paren (van ~3k naar ~6k) leverde geen consistent voordeel op.
  • Transfervorm: Zowel warm-start als embedding fusion toonden voordelen, maar de specifieke "winnaar" varieerde per trait en fold.

Betekenis en Claims

Het artikel claimt bescheiden dat Pair2Score aantoont dat comparatieve supervisie een nuttige intermediaire fase kan zijn voor rubric-gealigneerde absolute scoring, maar alleen als het transfer-pad zorgvuldig is geconfigureerd.

De auteurs benadrukken dat het voordeel niet automatisch is; het simpelweg toevoegen van een paarwijze fase garandeert geen verbetering. Het kerninzicht is dat de paarwijze fase primair bijdraagt via vroege initialisatie (het bieden van een beter startpunt voor de absolute scorer) in plaats van via de accumulatie van rankingkennis over vele epochs.

Het werk positioneert overdracht van relatief naar absoluut als een distinct modelvraagstuk waarbij het intermediaire doel, het transfer-pad en het downstream doel samen moeten worden overwogen. De auteurs erkennen beperkingen, waarbij zij opmerken dat hun evaluatie slechts één pad door de bredere ontwerpruimte bestrijkt (specifiek: paarwijze voorkeur met warm-start/fusion in een AES-omgeving) en dat verdere validatie nodig is voor andere intermediaire doelen, backbones en beoordelingsworkflows.