Technische Samenvatting: Cross-Source Reasoning-gebaseerde Correctie voor Auteursnaam-disambiguatie (CrossND)

1. Probleemdefinitie

Auteursnaam-disambiguatie (AND) is een fundamentele uitdaging in academische zoeksystemen, gericht op het onderscheiden van verschillende individuen die dezelfde naam delen. Hoewel bestaande benaderingen zich primair richten op "From-Scratch" disambiguatie (het clusteren van papers op naam) of realtime correctie binnen één enkele gegevensbron, lijden zij onder twee kritieke beperkingen:

1. Cumulatieve Fouten: Imperfecte algoritmen leiden tot een onvermijdelijke accumulatie van fouten in de toewijzing van papers aan auteurs.
2. Broninconsistentie: Verschillende academische databases (bijv. AMiner, MAG, Google Scholar) bevatten vaak inconsistente paper-auteur-toewijzingen. Huidige methoden negeren deze cross-source discrepanties doorgaans of vertrouwen op arbeidsintensieve menselijke annotatie om ze te corrigeren.

Het artikel stelt een nieuw paradigma voor: Cross-Source Correctie. In plaats van externe data als de absolute waarheid (ground truth) te behandelen, is het doel om de inconsistenties tussen een interne bron ($G_{in}$) en een externe bron ($G_{out}$) te benutten om foutieve paper-auteur-toewijzingen te identificeren en te corrigeren zonder menselijke tussenkomst.

2. Methodologie: Het CrossND-framework

De auteurs stellen CrossND voor, een full-stack framework dat is ontworpen om met ruisachtige labels om te gaan en cross-source redenering te benutten. Het framework bestaat uit drie opeenvolgende fasen:

Fase 1: Chain-of-Refinement Pipeline

Om labelruis vóór de training te mitigeren, gebruiken de auteurs een driestaps-pipeline met behulp van Large Language Models (LLMs):

1. Profielreiniging: Een LLM analyseert het originele auteursprofiel (een lijst met papers) om afwijkende papers te identificeren en te verwijderen die niet overeenkomen met de onderzoeksidentiteit van de auteur, waardoor een "coreset" van hoog-betrouwbare papers wordt geconstrueerd.
2. Toewijzingsvoorspelling: Met behulp van de gereinigde profielen uit zowel de interne als de externe bronnen voorspelt de LLM soft matching-scores (kansen) voor paper-auteur-paren in batches.
3. Batch Score Verfijning: Om kalibratie-inconsistenties tussen verschillende API-call batches aan te pakken, wordt de LLM opnieuw geprompt om de scores globaal te verfijnen, wat zorgt voor consistente waarschijnlijkheidsbereiken over de gehele dataset.

Fase 2: Cross-Correction Supervised Fine-Tuning (SFT)

De verfijnde soft labels dienen als supervisie voor het finetunen van een model (Qwen3-8B met LoRA). De kerninnovatie hier is de integratie van Probabilistic Soft Logic (PSL) om logische afhankelijkheden binnen de triplet $(p, a_{in}, a_{out})$ te modelleren:

• Data Partitionering: De trainingsdata wordt gesplitst in een Consistent Set ($D_{cs}$), waarbij de interne en externe auteurs zeer vergelijkbaar zijn, en een Inconsistent Set ($D_{ics}$), waarbij zij verschillen.
• PSL-gebaseerde Loss: Het framework formuleert een loss-functie die logische restricties afdwingt.
  • Voor consistente sets geldt: als de externe paper-auteur match hoog is en de auteurs vergelijkbaar zijn, moet de interne match ook hoog zijn.
  • Voor inconsistente sets concludeert het model welke bron onjuist is door de waarschijnlijkheid van de correcte toewijzing te maximaliseren en de waarschijnlijkheid van de conflicterende toewijzing te minimaliseren.
  • De totale loss combineert deze PSL-loss met de standaard Cross-Entropy loss, gewogen door een hyperparameter $\lambda$.

Fase 3: Test-Time Scaling (TTS)

Om de voorspellingsrobuustheid te verbeteren, passen de auteurs een bootstrapping-strategie toe tijdens de inferentie:

• Betrouwbaarheidsschatting: Papers worden gesorteerd op basis van de voorspellingsbetrouwbaarheid van het model.
• Snake Dealing & Interleaving: Papers worden in batches verdeeld volgens een "snake" patroon (zigzag) en binnen batches geherordend (hoog-laag-hoog-laag). Dit zorgt ervoor dat papers met een hoge betrouwbaarheid fungeren als "few-shot anchors" om de voorspellingen van het model voor papers met een lage betrouwbaarheid binnen hetzelfde contextvenster te kalibreren.

3. Belangrijkste Bijdragen

• Nieuw Paradigma: Het artikel introduceert Cross-Source Correctie, een perspectief dat inconsistente toewijzingen over bronnen heen gebruikt als een signaal voor foutdetectie in plaats van ze als ruis of grondwaarheid te behandelen.
• Full-Stack Framework: CrossND integreert dataverfijning (Chain-of-Refinement), logische redenering (PSL-gebaseerde SFT) en inferentie-optimalisatie (TTS) om de uitdagingen van ruisachtige labels en complexe relationele afhankelijkheden aan te pakken.
• Ruis Mitigatie: De Chain-of-Refinement pipeline denoist auteursprofielen effectief en genereert betrouwbare soft labels, waardoor de afhankelijkheid van menselijke annotatie wordt verminderd.
• Logische Restricties: De PSL-gebaseerde cross-correctie module modelleert expliciet de onderlinge afhankelijkheden tussen paper-auteur-paren over bronnen heen, wat het vermogen van het model verbetert om te redeneren over welke bron de fout bevat.

4. Experimentele Resultaten

Het framework werd geëvalueerd op twee real-world datasets: WhoIsWho (vergelijking tussen AMiner en MAG) en KDD Cup (vergelijking tussen AMiner en door gebruikers bewerkte data).

• Prestaties: CrossND presteerde consequent beter dan 17 baselines, inclus\s traditionele machine learning modellen (GBDT, LOF), grafische methoden (DCI), ruis-robuuste zelfcorrectie-methoden (Co-teaching, CORES) en directe LLM API-calls (GPT-5, Claude, Gemini).
  • Op WhoIsWho behaalde CrossND een AUC van 82,19% en een MAP van 61,79%, waarmee het de beste baseline (GuARD: 77,14% AUC) aanzienlijk versloeg.
  • Op KDD Cup behaalde CrossND een AUC van 87,34% en een MAP van 78,13%, waarmee het de beste baseline (GuARD: 85,27% AUC) versloeg.
• Ablatie-studies:
  • Het verwijderen van de externe bron veroorzaakte de grootste daling in prestaties, wat de noodzaak van cross-source signalen bevestigt.
  • Het verwijderen van Profile Cleaning of Batch Score Refinement verslechterde de prestaties, wat de Chain-of-Refinement pipeline valideert.
  • Het verwijderen van PSL toonde gemengde maar over het algemeen negatieve effecten op ranking-metrieken (MAP), wat de waarde van logische restricties benadrukt.
• Kostenefficiëntie: De gemiddelde API-kosten voor de refinement-pipeline waren ongeveer $0,0019 per paper op WhoIsWho. Het ingezette SFT-model verwerkt ~26 papers per seconde op een enkele H100 GPU.
• Real-World Implementatie: Het systeem is ingezet om menselijke verificatie te ondersteunen. In een pilot vonden ervaren annotatoren 1.061 toewijzingsfouten onder 2.154 paren, een toename van 47% in gedetecteerde fouten vergeleken met eerdere systemen.

5. Betekenis en Claims

Het artikel claimt dat CrossND een schaalbare, geautomatiseerde oplossing biedt voor het corrigeren van fouten in auteursnaam-disambiguatie door gebruik te maken van de "wisdom of crowds" over verschillende databronnen heen.

• Robuustheid: Het framework demonstreert dat cross-source redenering effectief foutieve toewijzingen kan identificeren, zelfs wanneer beide bronnen ruis bevatten, mits hun inconsistenties logisch worden geanalyseerd.
• Practicaliteit: In tegen tegenstelling tot methoden die uitgebreide menselijke annotatie vereisen, werkt CrossND met minimale menselijke tussenkomst en is het succesvol ingezet om grootschalige correctie van paper-auteur-toewijzingen in de praktijk te ondersteunen (bijv. op het AMiner-platform).
• Generaliseerbaarheid: De aanpak is niet beperkt tot specifieke datasets; het gebruik van PSL en chain-of-refinement biedt een generaliseerbare strategie voor het omgaan met ruisachtige relationele data in academische zoeksystemen.

De auteurs benadrukken dat hun werk niet pretendeert de menselijke expertise volledig te vervangen, maar deze eerder aan te vullen door een hoogwaardig, geautomatiseerd pre-screening mechanisme te bieden dat de last van handmatige verificatie aanzienlijk vermindert.