Technische Samenvatting: Influence Guided Sampling voor Domeinadaptatie van Tekstretrievers

Probleemstelling

Algemene open-domein dense retrieval-systemen worden doorgaans getraind op grote, eclectische mengsels van corpora en zoektaken. Een cruciale uitdaging bij het ontwikkelen van robuuste, generaliseerbare embedding-modellen is het bepalen van hoe deze diverse datasets voor training worden gesampled. Conventionele strategieën—zoals uniforme sampling, proportionele sampling gebaseerd op de populatie van instanties, of statische door experts gedefinieerde gewichten—zijn vaak suboptimaal. Ze slagen er niet in om dynamisch te adapteren aan de specifieke informatieve waarde van datasegmenten die nodig zijn om de prestaties op een doel-domein te maximaliseren. Hoewel dynamische, gradiëntgebaseerde benaderingen (bijv. DDS, DoGE, DoReMi) zijn voorgesteld om sampling-gewichten online te leren, kampen zij met aanzienlijke beperkingen: (1) ze lijden onder instabiliteit en hoge variantie door de stochastische gradiëntschattingen die worden gebruikt voor de beloningsberekening, en (2) ze veroorzaken aanzienlijke computationele overhead wanneer ze proxy-modellen of dure estimators vereisen.

Methodologie: Inf-DDS

De auteurs stellen Inf-DDS (Influence-guided Dynamic Data Sampling) voor, een nieuw door reinforcement learning gedreven framework dat ontworpen is om trainingsdatasets adaptief te herwegen. De kerninnovatie ligt in het vervangen van ruisgevoelige gradiëntgebaseerde beloningen door influence-gebaseerde beloningssignalen afgeleid van online proxy-modellen.

1. Probleemformulering

De taak wordt geformuleerd als een bilevel optimalisatieprobleem. Het doel is om een geparametriseerde sampling-beleid $\psi$ te leren die de waarschijnlijkheidsverdeling $P_D(i; \psi)$ over een pool van trainingsdatasets $\{D_i^{train}\}$ aanpast om de modelprestaties op een set doel-ontwikkelingsdatasets $\{D_j^{dev}\}$ te maximaliseren.

• Inner Loop: Update modelparameters $\theta$ met behulp van de huidige sampling-verdeling.
• Outer Loop: Update de scorer-parameters $\psi$ om de sampling-verdeling te optimaliseren op basis van de impact op de ontwikkelingsset.

2. Influence-gebaseerde Beloningen

In tegen tegenstelling tot eerdere methoden die vertrouwen op eerstegraads benaderingen of kleine proxy-modellen om de invloed van data te schatten, gebruikt Inf-DDS online proxy-modellen om exacte influence-scores te berekenen.

• Proces: Op elk tijdstip $t$ worden de modelparameters $\theta_t$ bijgewerkt met behulp van een specifieke trainingsdataset $D_i^{train}$ voor $l$ gradiëntstappen om $\theta_{t+1}^i$ te produceren.
• Metriek: De invloed wordt gekwantificeerd door de verandering in prestaties op de ontwikkelingsset: $\Delta M_j^i = M(\theta_{t+1}^i; d_j^{val}) - M(\theta_t; d_j^{val})$.
• Beloning: De uiteindelijke influence-score $I_i$ is het gemiddelde van deze prestatieveranderingen over alle ontwikkelingsdatasets. Deze score dient als het beloningssignaal om datasets die aantoonbaar de downstream-prestaties verbeteren, een hoger gewicht te geven.

3. Optimalisatie en Efficiëntie

Om computationele schaalbaarheid aan te pakken, maakt Inf-DDS gebruik van een Reptile-stijl eerstegraads meta-update:

• Gradiënthergebruik: In plaats van voor elke dataset aparte optimizer-toestanden bij te houden, berekent de methode een gewogen gemiddelde van de bijgewerkte parameters $\bar{\theta}_{t+1} = \sum p_i \theta_{t+1}^i$ (waarbij $p_i$ de waarschijnlijkheden zijn afgeleid van de influence-scores) en voert een enkele update-stap uit. Dit maakt het mogelijk om een enkele set tussenliggende gradiënten en optimizer-toestanden te hergebruiken, wat de geheugenoverhead aanzienlijk vermindert.
• Subsampling: Wanneer het aantal domeinen $M$ groot is, wordt de scorer $\psi$ bijgewerkt op een willekeurige subsample $S$ van datasets om de per-iteratie compute te verminderen, terwijl een onbevooroordeelde estimator voor de conditionele doelstelling behouden blijft.

Belangrijkste Bijdragen

1. Nieuw Algoritme: De voorstel van Inf-DDS, een influence-gestuurde reinforcement learning-benadering die leert om sampling-waarschijnlijkheden over diverse trainingsdatasets aan te passen zonder te vertrouwen op ruisgevoelige gradiëntschattingen voor beloningen.
2. Computationele Efficiëntie: De methode is ontworpen om lichtgewicht te zijn wat betreft GPU-verbruik. Door de berekeningen van de geparametriseerde sampling-verdeling-updates te hergebruiken om ook de modelparameters bij te werken, vermijdt het de zware overhead die geassocieerd wordt met proxy-modellen in andere dynamische sampling-methoden.
3. Empirische Validatie: De auteurs valideren Inf-DDS over meerdere benchmarks (BEIR, MLDR en de Sentence-Transformers embedding dataset), waarbij zij aantonen dat het meer stabiele sampling-trajecten produceert en superieure of vergelijkbare prestaties behaalt ten opzichte van gradiëntgebaseerde methoden (MultiDDS, DoGE) en proxy-model benaderingen (DoReMi).

Experimentele Resultaten

De effectiviteit van Inf-DDS werd geëvalueerd in drie verschillende scenario's:

• BEIR (Domeinadaptatie): Bij het optimaliseren voor de FEVER-ontwikkelingsset presteerde Inf-DDS consequent beter dan statische sampling en MultiDDS over verschillende initiële temperaturen. Het demonstreerde stabiele sampling-trajecten en gaf correct prioriteit aan informatieve datasets zoals MS MARCO en FEVER, terwijl gradiëntgebaseerde methoden instabiele dynamiek vertoonden.
• MLDR (Meertalige Lange Document Retrieval): Gebruikmakend van de BGE-M3 corpus, verbeterde Inf-DESS de baseline bge-m3-dense model met 5,03 absolute NDCG@10 punten. Merkwaardig genoeg slaagde het erin ondervertegenwoordigde talen een hoger gewicht te geven terwijl overfitting op dominante talen (Engels en Chinees) werd vermeden, waarbij het de hoogste individuele taalprestaties behaalde in 8 van de 13 talen.
• Sentence-Transformers Embedding Dataset: In een uitdagende setting met 1 miljard parallelle zinnen over 32 domeinen:
  • Startend vanaf een uniforme initialisatie, bereikte Inf-DDS een prestatie die bijna gelijk is aan het off-the-shelf Expert-model (all-MiniLM-L6-v2), wat de uniforme baseline met 1,83 punten overtreft.
  • Startend vanaf door Experts toegewezen gewichten, leverde Inf-DDS een extra verbetering van 0,94 absolute NDCG@10.
  • In contrast hiermee faalden gradiëntgebaseerde methoden (MultiDDS, DoGE) om de baselines te verbeteren in deze settings.
  • Inf-DDS behaalde deze winsten met 1,5× tot 4× minder GPU-compute vergeleken met methoden zoals DoReMi.

Betekenis en Claims

Het artikel claimt dat Inf-DDS een robuustere en computationeel hanteerbaardere oplossing biedt voor domeinadaptatie in tekstretrieval. Door over te stappen van gradiënt-afgeleide beloningen naar influence-gebaseerde beloningen berekend via online proxy-modellen, stabiliseert de methode het leren van sampling-gewichten en biedt het een directere schatting van welke datasegmenten leiden tot de best haalbare minima. De auteurs benadrukken dat hoewel het algoritme niet altijd convergeert naar een globaal optimum, het betrouwbaar substantiële verbeteringen levert vanuit redelijke initialisaties. Het werk onderstreept dat effectieve verbetering van retrievers verder moet gaan dan eenvoudige domeinovereenkomst of statische heuristieken, en behoefte heeft aan adaptieve strategieën die direct optimaliseren voor downstream-prestatie-metrieken.