LFQA-HP-1M: A Large-Scale Human Preference Dataset for Long-Form Question Answering

Probleemstelling

Langformulige Vraag-Antwoordtaken (Long-Form Question Answering, LFQA) vereisen de generatie van gedetailleerde, meerzinselijke uitleggen. Bestaande evaluatiemethoden voor deze taak lijden onder drie fundamentele tekortkomingen:

1. Referentie-afhankelijkheid: Traditionele metrics zoals ROUGE en BLEU zijn ongevoelig voor parafraseren en semantische equivalentie. Ze presteren slecht bij domeinadaptatie omdat ze vasthangen aan menselijke referentie-antwoorden.
2. Gebrek aan interpretatie: Referentievrije methoden, zoals "LLM-as-a-judge" (waarbij een LLM een score toekent), bieden vaak weinig inzicht in waarom een antwoord beter is dan een ander. Ze missen transparantie.
3. Bias en inconsistentie: LLM-evaluatoren vertonen systematische biases, zoals een voorkeur voor langere antwoorden (verbosity bias), positie-bias (het antwoord dat eerst wordt genoemd wordt vaker als beter beoordeeld), en gebrek aan logische consistentie (transitiviteit).

Er is een gebrek aan grote, publieke datasets met menselijke voorkeurannotaties specifiek voor LFQA, wat de ontwikkeling van betrouwbare evaluatieframeworks belemmert.

Methodologie

De auteurs stellen een volledig framework voor dat bestaat uit drie hoofdfasen: datasetconstructie, rubric-gebaseerde evaluatie en modelvergelijking.

1. Dataset Constructie: LFQA-HP-1M

• Aggregatie: Data is verzameld uit drie heterogene bronnen: Chatbot Arena (conversaties), LFQA Eval (redenering-gericht) en SHP-2 (Stanford Human Preferences, afkomstig van Reddit/StackExchange).
• Filtering: Omdat niet alle prompts in deze bronnen echte "vragen" zijn, hebben de auteurs een strikte definitie van LFQA ontwikkeld. Een LFQA moet een enkel, goed gedefinieerd informatiebehoeft hebben dat een gedetailleerd, meerzinselijk antwoord vereist (uitleg, redenering, exploratie). Het mag geen persoonlijk advies, creatieve content of ja/nee-vragen bevatten.
• Implementatie: Een geoptimaliseerde prompt (gebaseerd op iteratieve annotatie door vijf mensen) werd gebruikt om de data te filteren met behulp van LLMs (Llama-4 en GPT-4o). Om kosten te minimaliseren bij de schaal van ~900k prompts, werd gekozen voor batching (10 items per batch) en filtering op basis van modelvertrouwen (log_score).
• Resultaat: Een dataset van 1,3 miljoen menselijke paarvoorkeuren (pairwise preferences) over 300.000 unieke vragen, genaamd LFQA-HP-1M.

2. Rubric-ontwikkeling en Feature Extractie

Om de beperkingen van "black-box" LLM-evaluatie te overwinnen, hebben de auteurs een schema met negen fijnmazige rubrics ontwikkeld voor antwoordkwaliteit:

1. Specificiteit
2. Grammatica
3. Vloeiendheid (Fluency)
4. Volledigheid (Completeness)
5. Coherentie
6. Relevantie
7. Beknoptheid (Conciseness)
8. Gebruik van voorbeelden
9. Feitelijke juistheid (Factuality)

De scores voor deze rubrics worden berekend met een mix van traditionele NLP-tools (zoals LanguageTool voor grammatica, spaCy voor beknoptheid) en LLM-driven frameworks (zoals G-EVAL voor coherentie en volledigheid, en Veriscore voor feitelijke juistheid).

3. Model Evaluatie en Robuustheidstests

• Baseline: Een logistiek regressiemodel (Logistic Regression) werd getraind op de paarvoorkeuren, waarbij de verschillen in de negen rubrics tussen twee antwoorden als features dienden.
• Vergelijking: Dit model werd vergeleken met state-of-the-art (SOTA) gesloten LLMs (GPT-4o, Gemini-2.5, Llama-4) in een zero-shot setting.
• Bias-analyse: De auteurs testten specifiek op:
  • Transitiviteit: Als A > B en B > C, geldt dan A > C?
  • Positie- en Verbose-bias: Verandert de keuze als de volgorde van de antwoorden wordt omgewisseld of als één antwoord onnodig lang is?
  • Adversariale Robuustheid: Hoe reageren de modellen op semantisch behoudende perturbaties (synoniemen, karakterswap) gegenereerd door TextFooler en DeepWordBug?

Belangrijkste Resultaten

1. Prestaties: Het eenvoudige, interpreteerbare logistieke regressiemodel, gebaseerd op de negen rubrics, bereikte een nauwkeurigheid van 0,6826 en een F1-score van 0,6817. Dit is vergelijkbaar met de beste LLM-evaluators (GPT-4o: 0,6943, Gemini-2.5: 0,6826). Dit toont aan dat transparante, regelgebaseerde modellen concurreerbaar zijn met complexe LLMs voor LFQA-evaluatie.
2. Invloed van Rubrics: Coherentie en volledigheid bleken de sterkste positieve indicatoren voor menselijke voorkeur. Curieus genoeg hadden relevantie en grammatica negatieve gewichten in het model, wat suggereert dat deze vaak constant zijn of dat overmatig gedetailleerde antwoorden (hoge relevantie) soms minder worden gewaardeerd.
3. Bias in LLMs:
   • Transitiviteit: LLMs vertonen inconsistenties. GPT-4o had een schendingssnelheid van 4,7%, terwijl Llama-4 (12,2%) en Gemini-2.5 (15,3%) veel vaker intransitieve cycli vertoonden.
   • Positie- en Verbose-bias: LLMs (vooral Gemini en Llama) presteerden slechter wanneer de volgorde van antwoorden werd omgewisseld. Ze vertoonden ook een duidelijke bias naar langere antwoorden, zelfs als menselijke beoordelaars een beknopter antwoord prefereerden.
4. Adversariale Kwetsbaarheid: LLMs zijn kwetsbaar voor oppervlakkige tekstveranderingen. DeepWordBug (karakter-niveau perturbaties) zorgde voor een prestatiedaling van ~10% bij GPT-4o, terwijl semantisch equivalentere substituties (TextFooler) slechts ~2,6% daling veroorzaakten. Dit suggereert dat LLMs soms te veel vertrouwen op oppervlakkige patronen in plaats van diepe semantische kwaliteit.

Bijdragen en Significantie

• LFQA-HP-1M Dataset: De publicatie van de grootste tot nu toe bestaande publieke dataset voor menselijke voorkeuren in LFQA (1,3M paren), wat fundamenteel is voor het trainen en evalueren van toekomstige modellen.
• Rubric-Driven Framework: Een bewijs dat een transparant, interpreteerbaar framework gebaseerd op menselijke evaluatiecriteria (rubrics) net zo goed presteert als "black-box" LLM-evaluators, maar zonder de inherente biases van LLMs.
• Inzicht in Evaluatie-Bias: Het paper levert kwantitatief bewijs voor de kwetsbaarheid van huidige LLM-evaluators voor transitiviteit, positie- en lengte-bias, en adversariale aanvallen.
• Toekomstige Richting: Het werk biedt een solide basis voor het ontwikkelen van betrouwbaardere, reproduceerbare en theoretisch onderbouwde evaluatiemethoden voor generatieve AI, waarbij de nadruk ligt op interpretatie in plaats van alleen prestatie.

Kortom, het paper stelt dat voor LFQA-evaluatie een combinatie van grote menselijke datasets en interpreteerbare, rubric-gebaseerde modellen een robuustere en eerlijkere oplossing biedt dan de huidige afhankelijkheid van LLMs als rechters.