Technisch Overzicht: Categorical Prior Lock-in in Gestructureerde Datageneratie

Probleemstelling

Large Language Models (LLMs) worden steeds vaker ingezet als conditionele generatoren voor gestructureerde data, zoals tabelvormige records, waarbij ze vertrouwen op In-Context Learning (ICL) om zich aan te passen aan nieuwe distributies zonder parameterupdates. Hoewel ICL wordt geprefereerd vanwege het lichtgewicht karakter en het vermijden van fine-tuning kosten, blijft de effectiviteit ervan bij gestructureerde generatietaken ondergewaardeerd wat betreft de onderliggende distributionele gedragingen.

Dit paper onderzoekt de grenzen van ICL wanneer dit wordt toegepast op hoog-cardinale tabelvormige data onder distributie-mismatch. De auteurs identificeren een structurele foutmodus genaamd categorical prior lock-in: het onvermogen van ICL om de prior van een model over token-distributies die afkomstig zijn uit pre-training bij te werken. Specifiek, wanneer geconditioneerd op voorbeelden afkomstig uit een doeldistributie die significant afwijkt van de pre-training corpus (bijv. zeldzame of domeinspecifieke categorische labels), faalt het model erin de doeldistributie te benaderen, ongeacht het prompt-ontwerp of het aantal in-context voorbeelden dat wordt aangeboden.

Methodologie

De studie maakt gebruik van een gecontroleerde experimentele opzet met hoog-cardinale tabelvormige data om ICL te testen tegenover parameter-efficiënte fine-tuning.

• Dataset: Een publiekelijk beschikbare log van creditcardtransacties met zeven numerieke kenmerken (bijv. transactiebedrag, coördinaten) en vier categorische kenmerken (transactiecategorie, geslacht, beroep, Amerikaanse staat). De dataset wordt gekenmerkt door zeer ongebalanceerde categorische distributies (bijv. het veld job heeft 494 verschillende labels, waarbij de meest voorkomende slechts 0,75% van de records vertegenwoordigt) en een zeldzame fraude-klasse (0,58%).
• Modellen: Twee open-weight, instructie-getunede 7B-parameter decoder-only transformers werden geselecteerd voor lokale implementatiescenario's: Qwen2.5-7B-Instruct en Mistral-7B-Instruct-v0.3.
• Strategieën: De auteurs vergeleken drie generatieparadigmen:
  1. Zero-shot ICL: Geen in-context voorbeelden.
  2. Few-shot ICL: 1, 5 of 10 in-context voorbeelden.
  3. LoRA Fine-tuning: Parameter-efficiënte fine-tuning op 10% of 50% van de echte data, gevolgd door zero-shot generatie.
• Evaluatiemetrieken:
  • Structurele Betrouwbaarheid: Gemeten door de foutenrate (fractie van generatiepogingen die falen bij JSON-parsing of schema-validatie).
  • Distributionele Getrouwheid: Beoordeeld via Total Variation Distance (TVD) voor marginale distributies van zowel numerieke als categorische kenmerken.
  • Privacy/Memorizatie-risico: Gekwantificeerd met de DCR-ratio (vergelijking van afstanden tussen synthetische en echte records) en exacte duplicatiepercentages.
  • Structurele Afhankelijkheden: Geëvalueerd via Pearson correlatiematrices om inter-kenmerk relaties te beoordelen (bijv. geografische coördinaten).
  • Reproductie van Minderheidsklasse: Specifiek geanalyseerd voor de reproductie van de fraude-klasse.

Belangrijkste Bijdragen

1. Identificatie van Categorical Prior Lock-in: Het paper karakteriseert een fundamentele foutmodus waarbij ICL vasthoudt aan de pre-training token priors, wat de reproductie van zeldzame of domeinspecifieke categorische distributies verhindert.
2. Systematische Empirische Evaluatie: De studie biedt een uitgebreide vergelijking over modellen en prompting-strategieën, waarbij wordt aangetoond dat hoewel ICL de numerieke getrouwheid verbetert met meer voorbeelden, het een scherpe limiet bereikt op categorische distributies.
3. Trade-off Analyse: Het werk analyseert de trade-offs tussen ICL en fine-tuning met betrekking tot getrouwheid, structurele consistentie en privacyrisico, waarbij wordt benadrukt dat fine-tuning superieure distributionele adaptatie biedt ten koste van memorizatie-risico en potentiële modelinstabiliteit.

Resultaten

Structurele Betrouwbaarheid

• Qwen2.5-7B: Vertoonde hoge stabiliteit over alle strategieën. Foutentatjes daalden van 1,17% (zero-shot) naar bijna nul met few-shot voorbeelden. LoRA fine-tuning behield een foutentatje van 0,00%.
• Mistral-7B: Vertoonde acceptabele maar luidruchtigere ICL-prestaties (0,89%–3,59% foutentatje). Echter, LoRA fine-tuning veroorzaakte catastrofale degradatie: een foutentatje van 41,04% bij 10% data-expositie en volledige generatiefaling (100% foutentatje) bij 50% expositie, waarbij geen geldige records werden geproduceerd.

Distributionele Getrouwheid

• Numerieke Kenmerken: ICL verbeterde de numerieke getrouwheid naarmate het aantal voorbeelden toenam (bijv. TVD voor transactiebedragen daalde aanzienlijk). LoRA bereikte de laagste TVD-waarden (vaak <0,10).
• Categorische Kenmerken: ICL faalde in het benaderen van hoog-cardinale categorische distributies. Voor het veld job bleef de TVD nabij de 1,0 over alle ICL-configuraties voor beide modellen, wat duidt op vrijwel geen distributionele overlap met de echte data. De modellen genereerden veelvoorkomende beroepen uit de pre-training in plaats van de doelstelling van de dataset.
  • LoRA fine-tuning op Qwen2.5-7B reduceerde de job TVD naar ~0,15, een substantiële verbetering, maar nog steeds imperfect.
  • Mistral-7B LoRA 10% slaagde er niet in de kloof op job (TVD 0,59) of state (TVD 0,25) te dichten.
• Inter-kenmerk Correlaties: Zero-shot ICL liet sterke correlaties (bijv. tussen kaarthouder en winkelcoördinaten, $r>0,99$ in echte data) instorten naar bijna nul. Few-shot prompting verminderde deze fouten gedeeltelijk, maar alleen LoRA fine-tuning slaagde erin de afhankelijkheidsstructuur te herstellen.

Privacy en Memorizatie

• ICL: Alle configuraties leverden DCR-ratio's op ruim boven de 1,0, wat aangeeft dat synthetische records ver verwijderd waren van de echte trainingsdata, wat een laag memorizatie-risico vormt.
• LoRA: Alle gefinetunede configuraties vielen onder de 1,0 DCR-drempel, wat suggereert dat synthetische records dichter bij echte records lagen dan echte records bij elkaar liggen. Dit wijst op het ontstaan van memorisatiegedrag, zelfs bij lage data-expositie (10%).

Reproductie van Minderheidsklasse

Geen van beide modellen produceerde enige frauduleuze transacties onder welke ICL-configuratie dan ook, wat een volledige mislukking betekende voor de reproductie van de minderheidsklasse. LoRA fine-tuning herstelde de fraude-klasse gedeeltelijk (bijv. Qwen2.5-7B genereerde 0,12%–0,14% fraude), maar dit bleef aanzienlijk lager dan de echte basisrate van 0,58%.

Significantie en Claims

Het paper betoogt dat categorical prior lock-in een fundamentele beperking is van In-Context Learning bij gestructureerde generatie. De auteurs beweren dat ICL lokaal opereert binnen het contextvenster en niet in staat is om de onderliggende token-waarschijnlijkheidsdistributie globaal te hervormen die vereist is om hoog-cardinale, domeinspecifieke categorische variabelen te benaderen.

De belangrijkste implicaties die door de auteurs worden getrokken zijn:

• ICL is geen universeel substituut voor leren: In settings die vereisen dat distributies worden aangepast (vooral voor hoog-cardinale categoricals), is ICL onvoldoende.
• Fine-tuning is noodzakelijk maar risicovol: Terwijl LoRA de globale distributionele aanpassing mogelijk maakt die ICL niet kan bieden, introduceert het meetbare memorizatie-risico's en kan het, in het geval van kleinere modellen zoals Mistral-7B, de capaciteit van het model om gestructureerde output-schema's te volgen destabiliseren.
• Herformulering van ICL: De auteurs suggereren dat ICL moet worden beschouwd als een vorm van conditionele generatie met inherente beperkingen bepaald door de pre-training prior van het model, in plaats van een algemeen doelmatig few-shot leermechanisme voor alle gestructureerde taken.

De studie concludeert dat voor gestructureerde generatietaken waarbij significante distributieverschuivingen optreden, parameterupdates noodzakelijk zijn, maar dat beoefenaars de winst in getrouwheid zorgvuldig moeten afwegen tegen de risico's van datalekken en modelinstabiliteit.