From Instance Selection to Fixed-Pool Data Recipe Search for Supervised Fine-Tuning

Technische Samenvatting: Van Instance-Selectie naar Zoeken naar een Data-recept met Vaste Pool

Probleemformulering

Huidige benaderingen voor de selectie van data voor Supervised Fine-Tuning (SFT) worden voornamelijk geformuleerd als ranking op instance-niveau: het scoren van individuele samples op basis van heuristieken, schattingen van invloed of geleerde representaties, en het behouden van een top-$k$-subset. Hoewel dit effectief is, abstracteert deze visie weg van de praktische realiteit van het samenstellen van SFT-datasets, die vaak multi-stadia curatie-workflows omvat, waaronder filtering, bronmixing, deduplicatie en schoonmaak.

Dit artikel herformuleert het probleem als zoeken naar een data-recept met vaste pool. In deze setting:

• De ruwe instructiepool ($D_0$) is vast.
• Er bestaat een bibliotheek met onderbouwde operators ($O$) (bijvoorbeeld filtering op moeilijkheidsgraad, deduplicatie, mixing).
• Een kandidaat "recept" is een geordende reeks van deze operators.
• Het doel is niet om elke instance een definitieve score toe te kennen, maar om een uitvoerbaar recept te ontdekken dat een hoogwaardige geselecteerde subset construeert binnen een beperkt budget voor volledige SFT-evaluaties.
• Cruciaal is dat de methode geen trainingssamples genereert, herschrijft of verrijkt; het selecteert en componeert uitsluitend bestaande data.

Deze formulering omvat single-operator top-k-selectie (gezien als een gedegenereerd recept met lengte één), maar optimaliseert expliciet voor operatorcompositie, volgorde en de resulterende tussenliggende subsettoestanden.

Methodologie: AutoSelection

De auteurs introduceren AutoSelection, een tweelaags solver ontworpen om efficiënt te navigeren door de compositiesruimte van recepten onder dure validatiebeperkingen.

1. Materialisatielaag met Vaste Pool (Goedkope zoek-zijde redenering)
Om te voorkomen dat dure signalen voor elke kandidaat opnieuw worden berekend, cacheert AutoSelection onderbouwde signalen over de genormaliseerde ruwe pool ($D'_0$):

• Taak-zijde signalen: Activatiesimilariteit op basis van benchmarks (volgend op MONA).
• Data-zijde signalen: Intrinsieke eigenschappen zoals lexicale diversiteit (N-gram-entropie) en vertakking van actie-object.
• Model-zijde signalen: Geholde responsen van het basismodel, inclusief instructievolg-moeilijkheid (IFD), varentropie en statistieken van sparse-activatie.
• Staatvectoren: Voor elk gematerialiseerd recept vat een staatvector $z(r)$ de gerealiseerde eigenschappen van de subset samen (bijvoorbeeld behouden tokenratio's, distributiedrift, taakrelevantie). Dit stelt de zoekcontroller in staat kandidaat-subsets te vergelijken voordat wordt overgegaan tot een volledige SFT-evaluatie.

2. Zoek-controllerlaag (Budgettoewijzing)
De controller beheert de afweging tussen exploratie en exploitatie met behulp van een budget van $B$ volledige evaluaties:

• Warmup-probes: De zoektocht begint met het proppen van drie verschillende data-schaalregimes (lage, middelhoge en hoge retentie) om een initieel zaadanker te vestigen en veelbelovende retentieniveaus te identificeren.
• Lokale verfijning: Met behulp van een Samenvatter converteert het systeem de geëvalueerde geschiedenis naar door data onderbouwde hypothesen. Een Proponist genereert vervolgens zusterkandidaat-recepten door lokale bewerkingen uit te voeren (inserten, verwijderen, wisselen of opnieuw afstemmen van stappen) rondom het huidige zaad.
• Ranking: Een Ranger selecteert de enige beste kandidaat voor volledige evaluatie. Deze combineert:
  • De receptstructuur.
  • De gerealiseerde staatvector (subset-eigenschappen).
  • Een Gaussian Process (GP) surrogaat-prior gebaseerd op recept-encoding.
  • Historische zoekdata.
• Stagnatie-gedreven herzaad: Als de zoektocht gedurende $P$ opeenvolgende stappen faalt om de huidige beste score te verbeteren, ververst een Herzaader het zaadanker door een nieuw veelbelovend motief uit de geschiedenis te selecteren, waardoor wordt voorkomen dat de zoektocht vastzit in verzadigde lokale gebieden.

Taalmodellen (specifiek DeepSeek-R1) worden strikt gebruikt als assistenten aan de zoek-zijde om geschiedenis te samenvatten, onderbouwde bewerkingen te proponeren, kandidaten te rangschikken en te herzaad; ze herschrijven of genereren geen trainingsdata.

Belangrijkste Bijdragen

1. Probleemformulering: De auteurs formaliseren SFT-datacuratie als een gebudgetteerde black-box-optimalisatieprobleem over uitvoerbare recepten op een vaste ruwe pool, waardoor operatorcompositie en volgorde expliciete optimalisatiedoelen worden.
2. Methode (AutoSelection): Een tweelaags solver die gematerialiseerde kandidaten ontkoppelt van dure volledige SFT-evaluaties, met gebruik van warmup-probes, staat-bewuste lokale bewerkingen, GP-ondersteunde ranking en stagnatie-gedreven herzaad.
3. Empirisch Bewijs: Uitgebreide evaluatie over drie basismodellen (Qwen2.5-1.5B/3B, Llama3.2-1B) op een pool van 90K instructies.

Experimentele Resultaten

Geevalueerd op een instructiepool van 90K samples met een budget van 15 volledige SFT-evaluaties:

• Prestatie: AutoSelection behaalde het sterkste in-distribution redeneringsgemiddelde over alle drie basismodellen, en presteerde beter dan training met volledige data, willekeurige recept-zoektocht, willekeurige top-k en single-operator selectoren.
  • Verbeteringen ten opzichte van training met volledige data: +1,82 (Llama3.2-1B), +3,40 (Qwen2.5-1.5B) en +3,72 (Qwen2.5-3B) punten.
  • Verbeteringen ten opzichte van de sterkste niet-AutoSelection-baseline: +0,90 tot +2,89 punten.
• OOD-generalisatie: Op vastgehouden grafiekredeneringsbenchmarks (GraphWiz, NLGraph) bleef AutoSelection concurrerend, met een eerste plaats voor Qwen2.5-1.5B en een bijna gelijke stand met de beste baseline voor Qwen2.5-3B.
• Stabiliteit: Drie onafhankelijke runs op het 1.5B-model toonden een smal scorebereik (0,59 punten), wat aangeeft dat de winst niet het gevolg is van een enkele gelukkige run.
• Ablatiestudies:
  • Het verwijderen van Warmup veroorzaakte dat de zoektocht vroege evaluaties besteedde aan gebieden met lage scores.
  • Het verwijderen van de Samenvatter resulteerde in een soepelere traject, maar een zwakkere uiteindelijke beste recept.
  • Het verwijderen van Herzaad leidde tot een vlakkere "best-so-far"-curve, wat aangeeft dat het moeilijk is om uit lokale optima te ontsnappen.
  • Het verwijderen van Staatvectoren blootstelde de zoektocht aan kandidaten met veelbelovende vormen maar zwakke gerealiseerde subsettoestanden.
• Structurele Sensitiviteit: Matched-seed structurele ablaties bevestigden dat operatorvolgorde en compositie de prestaties significant beïnvloeden, verder dan de blote aanwezigheid van specifieke operators.
• Overdraagbaarheid: Een 1.5B-naar-7B transfer-check toonde een positieve Spearman-rangcorrelatie ($\rho=0,82$), wat suggereert dat hoogwaardige datamotieven die op kleinere modellen zijn ontdekt, nuttig kunnen zijn voor grotere modellen, hoewel exacte rangbehoud niet gegarandeerd is.

Betekenis en Claims

Het artikel beweert dat de waarde van AutoSelection niet ligt in het ontdekken van een universeel beste enkele selector, maar in toewijzen van een klein aantal volledige evaluaties om een sterkere compositie van onderbouwde curatiebeslissingen te vinden.

De auteurs betogen dat:

1. Receptstructuur telt: De volgorde en interactie van operators (bijvoorbeeld filtering vóór deduplicatie versus erna) een meetbaar effect hebben op downstream SFT-prestaties, wat het standpunt ondersteunt dat data-recepten eerste klas optimalisatie-objecten zijn.
2. Controle met Vaste Pool: Door de zoektocht te beperken tot een vaste ruwe pool zonder generatie of herschrijving, isoleert de methode de effecten van operatorkeuzes van verstorende factoren die worden geïntroduceerd door datasynthese of prompt engineering.
3. Efficiëntie: De aanpak demonstreert dat efficiënte zoekstrategieën (warmup, staat-bewuste ranking, herzaad) betere subsets kunnen opleveren dan training met volledige data of willekeurige zoektocht binnen een strikt evaluatiebudget.

Het werk positioneert zich als een gecontroleerd alternatief voor door LLM-aangedreven datasystemen, met focus op de optimalisatie van bestaande data-workflows in plaats van de synthese van nieuwe data.