Technische Samenvatting: Het reproduceren van FACTER

Probleemstelling

Large Language Models (LLM's) worden steeds vaker ingezet als aanbevelingssystemen vanwege hun vermogen om gepersonaliseerde suggesties te genereren in natuurlijke taal. Deze modellen lopen echter het risico maatschappelijke vooroordelen uit hun trainingsdata te versterken, wat leidt tot systematisch verschillende aanbevelingen voor gebruikers uit verschillende demografische groepen. Hoewel het hertrainen van modellen onder rechtvaardigheidsbeperkingen een veelvoorkomstige mitigatiestrategie is, is dit vaak onpraktisch voor black-box LLM's die via API's worden aangeleverd. Dit noodzaakt model-agnostische, post-hoc interventies.

Het paper richt zich op de reproductie van FACTER (Fayyazi et al., 2025), een framework ontworpen om rechtvaardigheid af te dwingen in LLM-gebaseerde aanbevelingen zonder de modelparameters te wijzigen. FACTER combineert conformal prediction om een nonconformiteit-drempelwaarde te kalibreren met een mechanisme voor iteratieve prompt-reparatie dat "AVOID"-beperkingen injecteert op basis van gedetecteerde schendingen. De oorspronkelijke studie beweerde dat FACTER rechtvaardigheidschendingen kon verminderen zonder de bruikbaarheid van de aanbevelingen te verslechteren. Dit werk onderzoekt de reproduceerbaarheid van deze claims, waarbij de ambiguïteiten in de oorspronkelijke implementatie wordt geadresseerd en het framework wordt geëvalueerd onder zowel de oorspronkelijke open-ended generatie-instelling als een gecontroleerde re-ranking extensie.

Methodologie

Implementatie van het Framework

De auteurs hebben FACTER vanaf nul geïmplementeerd, waarbij zij zich hielden aan de theoretische formalisaties uit het oorspronkelijke paper en de discrepanties in de publieke codebase hebben opgelost. Het framework werkt in twee fasen:

1. Offline Kalibratie: Een initiële acceptatiedrempel ($Q^{(0)}_\alpha$) wordt vastgesteld met behulp van split conformal prediction. Een nonconformiteitsscore ($S$) wordt berekend voor kalibratie-instanties, waarbij een voorspellende foutterm (afwijking van de grondwaarheid) en een rechtvaardigheidsstraf (semantische afstand tot aanbevelingen gegeven aan "counterfactual neighbors" met verschillende beschermde attributen) worden gecombineerd.
2. Online Monitoring: Naarmate queries binnenkomen, controleert het systeem of de nonconformiteitsscore de huidige drempelwaarde overschrijdt. Als er een schending optreedt:
   • Prompt Repair: Het systeem mijnt frequente itemkenmerken die geassocieerd worden met de schending en injecteert expliciete "AVOID"-beperkingen in de systeemprompt (bijv. "Avoid: gender=F $\to$ Romance").
   • Drempeladaptatie: De drempelwaarde wordt bijgewerkt via exponentiële smoothing om de acceptatieregio dynamisch te herschalen.

Experimentele Opzet

De studie evalueert FACTER over twee datasets (MovieLens-1M en Amazon Movies & TV) en drie LLM-backbones (Llama 2-7B, Llama 3-8B, Mistral-7B).

• Taken: De evaluatie dekt de oorspronkelijke open-ended generation taak (waarbij de LLM itemtitels vanaf nul genereert) en een nieuwe constrained re-ranking taak (waarbij de LLM een vaste kandidaat-pool rangschikt).
• Baselines: De studie introduceert een Fair Zero-Shot baseline, die statische rechtvaardigheidsinstructies gebruikt zonder de iteratieve reparatieloop, om de bijdrage van het dynamische mechanisme te isoleren.
• Metrieken: Rechtvaardigheid wordt gemeten via de Sensitive-to-Neutral Similarity Ratio (SNSR) en de Counterfactual Fairness Ratio (CFR), naast Violation Counts. Bruikbaarheid wordt gemeten via Recall@k en NDCG@k.

Belangrijkste Resultaten

1. Reproduceerbaarheid van Open-Ended Generatie

Onder strikte reproductie van de open-ended generatie taak, observeerden de auteurs een significante divergentie in de bruikbaarheid van aanbevelingen.

• Utility Gap: Het gereproduceerde model leverde bijna nul NDCG@10 en Recall@10 scores op, wat scherp contrasteert met de sterke resultaten gerapporteerd in de oorspronkelijke studie. Deze kloof wordt toegeschreven aan de moeilijkheid van zero-shot generatie en onvoldoende gespecificeerde target-set evaluatieprotocollen in het oorspronkelijke werk (bijv. string-matching toleranties en de constructie van de relevantieset).
• Rechtvaardigheidstrends: Ondanks de utility gap, verminderde FACTER consequent de adaptive-threshold violation counts vergeleken met de neutrale baseline. Deze reducties vertaalden zich echter niet consistent naar verbeteringen in globale rechtvaardigheidsmetrieken (SNSR, CFR). In sommige gevallen was de CFR van FACTER slechter dan die van de neutrale baseline.

2. Prestaties in de Re-Ranking Extensie

In de gecontroleerde re-ranking setting, waar de kandidaatenset vaststaat:

• Utility: De bruikbaarheid van de aanbevelingen was aanzienlijk hoger dan in open generatie, wat bevestigt dat de onderliggende LLM's relevante items kunnen identificeren wanneer de zoekruimte beperkt is.
• Rechtvaardigheid: FACTER handhaafde lage adaptive violation counts. Echter, statische rechtvaardigheidsinstructies (Fair Zero-Shot) bereikten vergelijkbare semantische pariteit-uitkomsten (SNSR, CFR) en fixed-threshold violation counts als de dynamische FACTER-loop.
• Drempeldynamiek: De reductie in schendingen bleek sterk afhankelijk van de adaptieve drempelwaarde. Wanneer geëvalueerd tegen een vaste, op de populatie gekalibreerde drempelwaarde, waren de violation counts van FACTER vergelijkbaar met de baselines, wat suggereert dat de schijnbare verbetering voortkomt uit drempelontspanning (threshold relaxation) in plaats van fundamentele gedragsveranderingen.

3. Mechanisme-analyse

Componentanalyse van de nonconformiteitsscores onthulde dat hoewel de voorspellende fout marginaal verbeterde over de iteraties, de rechtvaardigheidsstraf (fairness penalty) feitelijk toenam. Dit geeft aan dat de geïnjecteerde "AVOID"-beperkingen er vaak niet in slaagden de voorspellende distributie van het model te overstijgen, wat potentieel de counterfactual stabiliteit destabiliseert. De dynamische reparatieloop bood beperkt aanvullend voordeel ten opzichte van statische prompting in de gecontroleerde ranking formulering.

Betekenis en Claims

Het paper positioneert zichzelf als een best-effort reproductie-audit in plaats van een definitieve beoordeling van de oorspronkelijke resultaten, verwijzend naar ambiguïteiten in het oorspronkelijke paper en de code. De primaire bijdragen zijn:

1. Documentatie van Limieten: Het benadrukt dat de oorspronkelijke claims over de utility van open-generatie niet konden worden gereproduceerd onder gelijke settings, waarschijnlijk door onvoldoende gespecificeerde evaluatieprotocollen.
2. Isolatie van Mechanismen: Door de introductie van de Fair Zero-Shot baseline toont de studie aan dat de iteratieve prompt-reparatieloop beperkt marginaal voordeel biedt ten opzichte van statische rechtvaardigheidsinstructies in constrained ranking taken.
3. Drempel versus Gedrag: De analyse suggereert dat het primaire mechanisme van FACTER voor het verminderen van schendingen adaptieve drempelontspanning (threshold relaxation) is, in plaats van de succesvolle uitwissing van bias via prompt-reparatie.
4. Reproduceerbaarheidsbeperkingen: Het werk onderstreept de noodzaak van transparante evaluatieprotocollen in open-ended generatieve taken en de uitdagingen bij het reproduceren van model-agnostische rechtvaardigheidsframeworks wanneer implementatiedetails (bijv. target-set constructie, metriekberekening) ambigu zijn.

De auteurs concluderen dat hoewel conformal prediction effectief de interne schendingen begrenst, de praktische noodzaak van de online reparatieloop twijfelachtig is in gecontroleerde settings, waar statische instructies een efficiënter alternatief kunnen bieden. Zij pleiten voor toekomstig onderzoek naar mechanismen die semantische grenzen afdwingen tijdens het decoderen en die de rechtvaardigheidsstraf beter kalibreren tegen voorspellend vertrouwen.