RECOM: A Validity Discrimination Tradeoff in Automatic Metrics for Open Ended Reddit Question Answering

Technische Samenvatting: RECOM – Een Validiteits–Discriminatie Trade-off in Automatische Metrieken voor Open-Eind Reddit Vraag en Antwoord

Probleemstelling

Automatische metrieken zijn de standaard voor het evalueren van outputs van Large Language Models (LLM's), maar ze hebben impliciet twee verschillende functies: validiteit (het onderscheiden van genuanteerde inhoudelijke overeenstemming van oppervlakkige toevalligheid) en discriminatief vermogen (het betrouwbaar rangschikken van een beter systeem tegenover een slechter systeem). In open-einde, op opinie gebaseerde taken zoals conversationele vraag en antwoord, lijken deze twee doelen in spanning te staan. Hoewel metrieken routinematig als één enkele "goede" eigenschap worden behandeld, stelt dit artikel dat geen enkele huidige metriek zowel een hoge validiteit als een hoog discriminatief vermogen tegelijkertijd bereikt. Bestaande evaluatiedatasets vertrouwen vaak op feitelijke vragen met objectief verifieerbare antwoorden (bijv. FreshQA, RealTimeQA), die er niet in slagen de nuance van maatschappelijke consensus in opinie-gestuurde contexten te vatten. Bovendien missen standaardmetrieken vaak een "random-baseline vloer", wat het moeilijk maakt om te bepalen of een hoge score reflecteert dat er sprake is van echte overeenstemming of louter de statistische eigenschappen van vloeiende Engelse tekst.

Methodologie

Om deze trade-off te onderzoeken, introduceren de auteurs RECOM (Reddit Evaluation for Correspondence of Models), een contaminatievrije evaluatiedataset en pipeline.

• Dataset Constructie: RECOM bestaat uit 15.000 open-einde vragen van r/AskReddit verzameld in september 2025. Het verzamelvenster werd specifief gekozen om na de trainingsafkapwaarden van alle geëvalueerde modellen te liggen (variërend van eind 2023 tot eind 2024), om data-contaminatie te waarborgen. Voor elke vraag wordt de "ground truth" niet gedefinieerd als één enkel correct antwoord, maar als de set authentieke depth-1 community replies (directe menselijke reacties), waardoor de volledige distributie van maatschappelijke perspectieven behouden blijft.
• Geëvalueerde Modellen: Vijf open-source LLM's (7B–10B parameters) werden geëvalueerd: Mistral-7B, Qwen2.5-7B, Granite3.1-Dense-8B, Falcon3-10B, en Llama-3.1-8B. Alle modellen werden gepromptt om antwoorden te genereren van minder dan 50 woorden.
• Evaluatieprotocol:
  • Multi-Referentie Scoring: Elk gegenereerd antwoord werd gescoord tegen elke depth-1 community reply voor een gegeven post.
  • Metric Families: De studie evalueerde lexicale (BLEU, ROUGE), semantische (BERTScore, MoverScore, Cosine Similarity), en inferentie-gebaseerde (NLI) metrieken.
  • Random-Derangement Baseline: Om validiteit te meten, werd een random-derangement baseline vastgesteld waarbij gegenereerde antwoorden werden gekoppeld aan reacties van andere posts. Dit creëert een "ruisvloer" om de scheiding te meten tussen echte overeenstemming en willekeurige toevalligheid.
  • Metrieken van Belang: De auteurs berekenden Cohen's $d$ voor twee assen:
    1. Validiteit: De effectgrootte die echte generaties scheidt van willekeurige koppelingen.
    2. Discriminatief Vermogen: De effectgrootte die de vijf verschillende modellen van elkaar scheidt.
  • LLM-as-Judge Validatie: Drie onafhankelijke LLM-judges (Phi-4, Gemma-3, Yi-1.5) van verschillende ontwikkelaars werden gebruikt om dezelfde data te scoren op "Relevancy" en "Faithfulness" om de validiteitsas te bevestigen.
  • Lengtecontrole: Om te voorkomen dat responslengte een verstorende variabele zou zijn, voerden de auteurs regressieanalyses en de residualisatie van woordenaantallen uit.

Belangrijkste Bijdragen

1. Identificatie van een Trade-off: Het artikel identificeert en kwantificeert een systematische validiteits–discriminatie trade-off. Metrieken die uitblinken in het scheiden van echte overeenstemming van ruis (hoge validiteit) falen in het rangschikken van modellen (laag discriminatief vermogen), en vice versa.
2. De RECOM Dataset: Een publiek beschikbare, contaminatievrije benchmark van 15.000 open-einde vragen met authentieke community multi-referenties, specifief ontworpen om beide metric-assen te meten tegen een random baseline.
3. Representatie Design Hypothese: De auteurs stellen voor dat de trade-off voortkomt uit representatie design. Specifiek: contrastief getrainde zin-encoders (gebruikt in cosine similarity) verscherpen het onderscheid tussen gerelateerde en ongerelateerde tekst (validiteit), maar laten de subtiele variaties tussen verschillende hoogwaardige systemen instorten (discriminatief vermogen).
4. Rapportage Framework: De auteurs pleiten voor het rapporteren van metrieken op een tweedimensionale ruimte (validiteit vs. discriminatief vermogen) met een expliciete random-baseline vloer, in plaats van te vertrouwen op ruwe scores.
5. Ontdekking van Lengte-artefact: De studie toont aan dat het schijnbare discriminatieve vermogen van BERTScore precision grotendeels een artefact is van de responslengte. Zodra de lengte wordt gecontroleerd, stort het vermogen van BERTScore om modellen te rangschikken in.

Resultaten

• Lexicale Metrieken (BLEU/ROUGE): Deze metrieken vertoonden een hoge validiteit (duidelijke scheiding tussen echt en willekeurig, met Cohen's $d \approx 2$) maar bijna geen discriminatief vermogen ($|d| < 0.1$). Modellen klonterden dicht bij elkaar en rangschikkingen waren instabiel over verschillende varianten van de metrieken.
• Semantische Metrieken:
  • Cosine Similarity: Vertoonde de hoogste validiteit (gat tussen echt-vs-willekeurig $\approx 24$ procentpunten, $d \approx 2$) maar faalde in het discrimineren tussen modellen ($|d| < 0.1$). De scores voor alle vijf de modellen waren nagenoeg identiek.
  • BERTScore: De ruwe BERTScore precision leek een hoog discriminatief vermogen te hebben ($|d|$ tot 0.63) en rangschikte modellen verschillend. Echter, deze rangschikking correleerde perfect met de responslengte (kortere modellen scoorden hoger). Wanneer de lengte werd gerisidualiseerd, stortte het discriminatieve vermogen in tot $|d| = 0.09$, wat het verwaarloosbaar maakte. Bovendien waren de ruwe BERTScore F1-scores (85–86%) slechts 1–3 procentpunten boven de random baseline, wat duidt op zwakke validiteit zonder her-schaling.
  • MoverScore: Toonde een gemiddelde validiteit en een gemiddeld discriminatief vermogen dat niet door lengte werd gedreven, maar het algemene signaal was zwakker dan dat van cosine similarity.
• LLM-as-Judge: Drie onafhankelijke judges reproduceerden de validiteitskloof (scheiding van echt versus willekeurig met grote effectgroottes, $d \approx 2.0\text{--}3.5$), maar, net als de automatische metrieken, faalden zij om de vijf modellen sterk te scheiden ($|d|$ bleef laag).
• Lengteanalyse: Responslengte verklaarde zeer weinig van de echt-versus-willekeurig kloof (mediaan $R^2 \approx 3\%$), wat bevestigt dat het validiteitssignaal geen loutere verbositeit-artefact is. Echter, lengte was de primaire drijfveer van de inter-model verschillen in BERTScore.

Betekenis en Claims

Het artikel betoogt dat de validiteits–discriminatie trade-off een eigenschap van de metrieken is, niet van de modellen. Omdat elke metriek exact dezelfde modeloutputs scoorde, is het onvermogen om tegelijkertijd overeenstemming te valideren en systemen te rangschikken inherent aan de huidige ontwerp van de metrieken.

De auteurs beweren dat het ideaal van de "goede metriek" onbereikbaar is met de huidige single-metric benaderingen voor open-einde taken. Zij stellen dat:

1. Validiteit en discriminatie zijn verschillende vragen zijn: "Gaat deze output in op de inhoud?" en "Welk model is beter?" zijn verschillende vragen die geen enkele enkele metriek op open-einde taken beantwoordt.
2. Baseline Rescaling Cruciaal is: Ruwe scores (bijv. een BERTScore F1 van 86%) overschatten de overeenstemming vaak met 1–3 punten ten opzichte van willekeurige kans. Her-schaling tegen een random baseline onthult het werkelijke signaal (6–13 punten).
3. Lengte een Confounder is: Schijnbare modelrangschikkingen op basis van BERTScore zijn grotendeels artefacten van de responslengte, niet van de antwoordkwaliteit.

Het artikel concludeert dat evaluatiepraktijken moeten evolueren door metrieken te rapporteren op beide assen met expliciete random baselines. Het claimt niet de trade-off op te lossen, maar legt deze juist bloot, en suggereert dat toekomstig werk zich moet richten op representatie design om deze eigenschappen te ontkoppelen. De bevindingen zijn beperkt tot kortvorm, op opinie gebaseerde QA en generaliseren mogelijk niet naar feitelijke QA of domeinen met objectief verifieerbare antwoorden.