Technische Samenvatting: SelPE: Progressieve Selectie voor Private Gestructureerde Tekstsynthese

1. Probleemdefinitie

Het artikel behandelt de uitdaging van differentieel private (DP) gestructureerde tekstsynthese in kleine steekproefregimes. Gestructureerde tekstgegevens (bijv. klinische triage-notities, financiële logs) bestaan uit heterogene velden — numeriek, categorisch en vrije tekst — die voldoen aan strikte schema's.

Bestaande benaderingen kampen met drie primaire beperkingen wanneer ze worden toegepast op dit domein met beperkte private data:

1. Signaal-schaarsheid: In kleine steekproefsettings domineren additieve ruismechanismen (gangbaar in DP) het nut-signaal. Naarmate de omvang van de kandidaat-pool groeit ten opzichte van de omvang van de private dataset, verdwijnt de signaal-ruisverhouding (SNR), waardoor kandidaat-selectie onbetrouwbaar wordt.
2. Schema-getrouwheid: Het genereren van tekst die voldoet aan complexe, cross-veld schema-beperkingen is moeilijk. Harde beperkingen verslechteren vaak de semantische expressiviteit, terwijl vrije vorm-generatie vaak structurele regels overtreedt.
3. Cross-type Uitlijning: Het evalueren van kandidaten vereist het vergelijken van heterogene velden (tekst, getallen, categorieën) die zich in incompatibele ruimtes bevinden. Universele metrieken brengen deze signalen vaak samen, wat leidt tot misalignement in vergelijkingen.

Het kernprobleem is het synthetiseren van een dataset die structurele validiteit, getrouwheid (semantische en numerieke nauwkeurigheid) en downstream nut behoudt, terwijl het voldoet aan $(\epsilon, \delta)$-differentiele privacy met zeer weinig private voorbeelden.

2. Methodologie: SelPE

De auteurs stellen SelPE (Selection-guided Progressive Evolution) voor, een framework dat het privacybudget verschuift van ruisige aggregatie naar een sequentie van hoog-betrouwbare, structuurbewuste selecties.

Kerncomponenten

A. Context–Schema Ontkoppelde Generatie
Om een balans te vinden tussen semantische expressiviteit en structurele validiteit, gebruikt SelPE een tweestaps-pipeline:

1. Latente Data Context (Fase I): Een taalmodel genereert een vrije tekstuele beschrijving ($t$) die een coherente real-world instantie vertegenwoordigt. Deze fase richt zich puur op semantische abstractie zonder schema-beperkingen.
2. Schema-Gegronde Realisatie (Fase II): De latente context $t$ wordt omgezet in een gestructureerd record ($s$) met behulp van constrained decoding (via LLGuidance). Een door het schema geïnduceerde constraint-automaat zorgt ervoor dat de gegenereerde tokens strikt voldoen aan veldtypes en waarde-ranges, wat structurele validiteit garandeert.

B. Multi-Channel Afstandskern
Om kandidaten over heterogene velden heen te evalueren, definieert SelPE een afstandskern $g(s, s')$ die opereert in natuurlijke ruimtes:

• Semantische Kanalen: Tekstuele en categorische velden worden gecodeerd in genormaliseerde semantische vectoren met behulp van een sentence encoder. Een globaal semantisch kanaal vangt cross-veld coherentie op.
• Numerieke Kanalen: Numerieke velden worden behouden als scalaire waarden via robuuste normalisatie om precisie te waarborgen.
• Aggregatie: De totale afstand is een gewogen som van cosinus-afstanden (voor semantische kanalen) en absolute verschillen (voor numerieke kanalen). Dit maakt nauwkeurige vergelijking mogelijk zonder heterogene signalen te laten instorten.

C. Selectie-gestuurde Progressieve Evolutie
In plaats van private data te aggregeren, concentreert SelPE het privacybudget op multi-batch top-1 selecties:

1. Progressieve Conditionele Generatie: De synthese vindt plaats over $T$ rondes. Het aantal samples dat per ronde wordt gegenereerd, neemt toe ($m_t = t \cdot q$), waardoor latere rondes kunnen voortbouwen op een rijkere context van eerder geselecteerde hoog-kwalitatieve samples.
2. Multi-Batch Private Selectie: De private dataset wordt opgedeeld in disjuncte batches. Voor elke batch wordt een empirisch centrum berekend. Kandidaten worden gescoord op basis van hun afstand tot deze batch-centra.
3. Top-1 Exponential Mechanism: De beste kandidaat uit elke batch wordt geselecteerd met behulp van de Top-1 Exponential Mechanism. Door parallelle compositie te gebruiken, wordt het privacyverlies beheerst door het maximale verlies van elke individuele batch-selectie, in plaats van te accumuleren over de gehele pool.
4. Niet-Private Contrastieve Expansie: Om diversiteit te waarborgen zonder extra privacykosten, wordt elk geselecteerd "goed" voorbeeld gekoppeld aan een "contrastief" voorbeeld (de kandidaat die het verst verwijderd is van de geselecteerde). Deze paren sturen de volgende generatieronde aan, waardoor het model wordt weggestuurd van geëscaleerde modi (collapsed modes).

3. Belangrijkste Bijdragen

1. Schema-bewuste Generatie en Evaluatie: Een samenhangend framework dat semantische abstractie ontkoppelt van schema-realisatie en een multi-channel afstandskern gebruikt om zowel structurele validiteit als cross-veld consistentie te waarborgen.
2. Selectie-gedreven Private Evolutie: Een nieuwe benadering die specifiek is afgestemd op kleine-steekproef gestructureerde tekst, die ruis-gebaseerde aggregatie vervangt door multi-batch top-1 DP-selectie, waardoor het probleem van signaal-schaarsheid effectief wordt gemitigeerd.
3. Empirische Validatie: Uitgebreide experimenten op drie realistische datasets (Water, MIMIC-ED, Loan) tonen consistente verbeteringen in structurele getrouwheid en downstream nut onder strikte privacybudgets aan.

4. Experimentele Resultaten

De auteurs evalueerden SelPE tegen vijf baselines (DP-DS, DP-Gen, Aug-PE, WASP, CTCL) over drie datasets met variërende schema-complexiteit en tekstlengte.

• Prestaties: SelPE presteerde consequent beter dan de baselines in TabSTAR utility (het meten van gestructureerde-tekst afhankelijkheden) en R-CFG/S-CFG fidelity (het meten van schema-validiteit), met name onder strikte privacybudgets ($\epsilon \in \{1, 2\}$).
• Robuustheid:
  • Backbone Transferability: SelPE behield een hoge prestatie over verschillende LLM-backbones (Llama, Gemma, Mistral, Qwen), wat duidt op de effectiviteit die niet afhankelijk is van een specifieke generator.
  • Datagrootte: SelPE excelleerde in low-data regimes ($n=5, 10$), waar andere methoden leden onder de dominantie van ruis.
  • Hyperparameters: De methode vertoonde optimale prestaties met een matige evolutiediepte ($T \approx 4-5$) en kandidaat-veelvoudigheid ($K \approx 3-4$), wat wijst op afnemende meeropbrengsten bij diepere of meer exploratieve private generatie.
• Ablatie-studies: Het verwijderen van een component (contrastieve voorbeelden, progressieve quota, schema-bewuste generatie of de afstandskern) leidde tot prestatievermindering, wat bevestigt dat de volledige pipeline noodzakelijk is voor optimale resultaten. De multi-channel afstandskern was bijzonder cruciaal voor de gestructureerde-tekst utility.

5. Betekenis en Claims

Het artikel claimt dat het concentreren van het privacybudget op gestructureerde selectie een effectievere strategie is dan ruis-gebaseerde aggregatie voor kleine-steekproef gestructureerde tekstsynthese.

• Aanpak van de "Tekst-Structuur Kloof": De auteurs observeren dat hoewel sommige baselines een hoge holistische tekst-fluentie bereiken (RoBERTa-scores), ze falen in het behouden van cross-veld consistentie. SelPE overbrugt deze kloof door structurele afhankelijkheden expliciet te modelleren.
• Geprincipeerd Ontwerp: Het werk stelt dat voor gestructureerde tekst, waarbij records compositioneel en divers zijn, "gemiddeld nemen" via ruisige aggregatie fundamenteel gebrekkig is. In plaats daarvan levert het focussen van het privacybudget op een sequentie van hoog-betrouwbare, structuurbewuste beslissingen een hoger downstream nut op.
• Schaalbaarheid: Het framework wordt gepresenteerd als een geprincipeerde richting voor DP gestructureerde tekstsynthese, een levensvatbare oplossing voor privacygevoelige domeinen waar data schaars is maar structurele integriteit van groot belang is.