Instance-Level Costs for Nuanced Classifier Evaluation

Technische Samenvatting: Instance-niveau Kosten voor Nuancierte Classificatie-evaluatie

Probleemstelling
Standaard classificatie-evaluatie vertrouwt op uniforme foutpercentages, waarbij alle misclassificaties als even kostbaar worden beschouwd. In hoog-risicodomeinen zoals contentmoderatie, medische screening en veiligheidskritieke systemen variëren de gevolgen van fouten echter aanzienlijk. Het verkeerd classificeren van een duidelijk geval (bijvoorbeeld een opmerking met unanieme annotator-toestemming over toxiciteit) is veel schadelijker dan een fout maken bij een grensgeval waar menselijke annotators het oneens zijn. Bestaande methoden voor kostenbewust leren gaan er doorgaans van uit dat kosten extern worden gespecificeerd en objectief kwantificeerbaar zijn (bijvoorbeeld fraudebedragen). Dit artikel adresseert de kloof waar kosten subjectief zijn, afgeleid van menselijke onenigheid of beslisdrempels, en niet expliciet worden gedefinieerd door een externe administratie.

Methodologie
De auteurs stellen een raamwerk voor om instance-niveau misclassificatiekosten af te leiden en te evalueren, waarbij Genormaliseerde Excess Cost (NEC) wordt geïntroduceerd als primaire metriek.

1. Kostenafleiding: Het raamwerk kiest een kost toe aan elk voorbeeld op basis van de omvang van de onenigheid of de afstand tot een beslisdrempel. Drie natuurlijke bronnen worden geïdentificeerd:

   • Meerdere annotator-labels: Kosten worden afgeleid uit de getekende log-odds van annotatorstemmen (Laplace-gesmeerd). Hoge consensus levert hoge kosten voor fouten op; hoge onenigheid levert lage kosten op.
   • Op drempels gebaseerde labels: Kosten worden gedefinieerd door de afstand van een continue meting tot een beslisdrempel (bijvoorbeeld bloeddruk ten opzichte van een hypertensiegrens).
   • Geannoteerde ratings: Enkele annotator-vertrouwensscores worden omgezet in kostenmarges.

2. Definitie van Metriek: NEC wordt gedefinieerd als het regret in een contextuele bandit-setting. Het weegt fouten op basis van hun instance-niveau kosten ($|\Delta_i|$) en normaliseert dit door de totale kosten:
   $$\text{NEC} = \frac{\sum |\Delta_i| \cdot \mathbb{1}[\hat{y}_i \neq \text{sign}(\Delta_i)]}{\sum |\Delta_i|}$$
   Wanneer kosten uniform zijn, reduceert NEC tot het standaard foutpercentage. Een lagere NEC wijst op betere uitlijning met taakprioriteiten, specifiek het prioriteren van correcte classificatie van hoge-kosten (duidelijke) voorbeelden.

3. Trainingsstrategieën: Het artikel onderzoekt of het incorporeren van deze kosten tijdens het trainen de prestaties verbetert. De vergeleken strategieën omvatten:

   • Kosten-gewogen classificatie: Het wegen van de cross-entropy-verliesfunctie met $|\Delta_i|$.
   • Sampling-strategieën: Upsampling van hoge-kosten voorbeelden of filteren van lage-kosten voorbeelden.
   • $\Delta$-regressie: Het trainen van een model om de getekende marge $\Delta$ direct te voorspellen via regressie, gevolgd door een drempel bij nul voor classificatie.

Belangrijkste Bijdragen

1. Algemeen Raamwerk: Een methodologie voor het afleiden van per-voorbeeld misclassificatiekosten uit subjectieve annotatiepatronen (onenigheid) en het koppelen daarvan aan het besluitvormingstheoretische concept van regret.
2. Evaluatie-inzicht: Empirische demonstratie over tekst-, afbeeldings- en tabulardatasets dat NEC vaak aanzienlijk lager is dan het standaard foutpercentage. Dit onthult dat modellen hun fouten vaak concentreren op ambigu, lage-kosten voorbeelden in plaats van duidelijke gevallen.
3. Trainingsanalyse: Een vergelijkende studie die aantoont dat kostenbewuste training inconsistent voordelen oplevert. Verbeteringen treden voornamelijk op wanneer kosten voorspelbaar zijn vanuit invoerfeatures (gedemonstreerd in synthetische controles), terwijl real-world datasets gemengde of verwaarloosbare winsten tonen uit standaard kosten-gewegingbenaderingen.

Experimentele Resultaten
De auteurs evalueerden het raamwerk op vier datasets: Jigsaw (teksttoxiciteit), Turkey (beeldletseldetectie), NHANES (tabulaire hypertensie) en iNaturalist (plantenteeltstatus), naast een synthetische dataset.

• NEC versus Foutpercentage: Er werd een significante divergentie waargenomen. Bijvoorbeeld, op de Jigsaw-dataset met TF-IDF-features was het foutpercentage 5,34% terwijl de NEC slechts 1,76% bedroeg. Dit geeft aan dat de fouten van het model geconcentreerd waren op ambigu voorbeelden waar zelfs mensen het oneens waren, wat suggereert dat het systeem in de praktijk betrouwbaarder is dan ruwe nauwkeurigheid impliceert.
• Trainingsdoeltreffendheid:
  • Real-world Data: Kosten-geweging leverde inconsistent resultaten op. Op de Turkey-dataset verlaagde het NEC met 14,5%, maar op iNaturalist verhoogde het NEC licht. Op Jigsaw en NHANES waren de effecten verwaarloosbaar.
  • Synthetische Data: In een synthetische setting waarin kosten lineair voorspelbaar waren vanuit features, verbeterde kosten-geweging NEC significant (van 0,50% naar 0,40%).
  • Fine-tuning: End-to-end fine-tuning van embeddings (bijvoorbeeld RoBERTa, ResNet) leverde de meest aanzienlijke verbeteringen op zowel NEC als foutpercentage, en overtrof kosten-gewegingstrategieën toegepast op bevroren embeddings ver.
• Stabiliteit: De verhouding tussen Foutpercentage en NEC bleef stabiel over verschillende modelgroottes en trainingssetgroottes, wat suggereert dat deze verhouding een eigenschap is van de kostenverdeling van de taak en niet van de modelarchitectuur.

Betekenis en Claims
Het artikel claimt dat NEC een meer nuancierte en accurate evaluatie biedt van classificatiewerkprestaties in domeinen waar niet alle fouten gelijk zijn. Het onthult dat modellen vaak goed presteren op hoog-risico, duidelijke gevallen, terwijl ze falen bij ambigu gevallen, een onderscheid dat standaard foutpercentages verdoezelen.

Echter, de auteurs zijn bescheiden wat betreft het nut van deze kosten voor training. Ze presenteren een "negatief resultaat": het incorporeren van instance-niveau kosten in training via verliesgeweging of sampling verbetert de prestaties niet consequent in real-world settings. Het artikel concludeert dat de effectiviteit van kostenbewust training kritiek afhangt van of de invoerfeatures informatie bevatten die voorspellend is voor het kostensignaal. Bijgevolg betogen de auteurs dat het verbeteren van de representatiekwaliteit (via fine-tuning of betere embeddings) de primaire bottleneck is en grotere returns biedt dan kostenbewuste trainingsstrategieën. Het raamwerk wordt voornamelijk gepresenteerd als een methodologie voor het afleiden en evalueren van kosten, en biedt een praktische lens voor beoordeling, zelfs wanneer kostenbewuste training beperkte voordelen biedt.