Technische Samenvatting: DialogPII

Probleemstelling

Conversationele gegevens die worden verzameld in domeinen zoals de gezondheidszorg, sociale wetenschappen en klantenservice zijn een cruciale bron voor onderzoek en geautomatiseerde analyse. De verantwoorde deelname aan het delen van deze gegevens wordt echter belemmerd door de aanwezigheid van persoonlijk identificeerbare informatie (PII). Bestaand onderzoek naar tekstanonimisering heeft zich voornamelijk gericht op formele medische documenten (bijv. klinische aantekeningen), terwijl conversationele taal unieke uitdagingen met zich meebrengt. Gesproken interacties omvatten gefragmenteerde zinnen, informele taal, onderbrekingen, sprekerswisselingen en spontane onthullingen, wat directe overdracht van de-identificatiekaders voor documenten bemoeilijkt.

Bovendien is er een aanzienlijk tekort aan meertalige middelen voor conversationele de-identificatie. Bestaande benchmarks zijn grotendeels eenlijvig, Engels-gecentreerd of gericht op algemene webtekst in plaats van gevoelige dialogische scenario's. Realistische conversationele datasets zijn moeilijk te delen vanwege ethische en juridische beperkingen met betrekking tot privacy. Bijgevolg is er behoefte aan een hoogwaardige, meertalige, synthetische dataset die diverse interactiescenario's dekt en zowel geschreven als uit spraak afgeleide transcripten bevat om de ontwikkeling en evaluatie van automatische de-identificatiesystemen te ondersteunen.

Methodologie

De auteurs presenteren DialogPII, een dataset die is gecreëerd via een vijfstaps pijplijn ontworpen om synthetische, meertalige en spraak-gealigneerde middelen te genereren.

1. Definitie van het Annotatieschema: De auteurs hebben een dialog-georiënteerd schema ontwikkeld dat concepten combineert uit Personal Health Identifier (PHI)-frameworks en de Text Anonymization Benchmark (TAB). Dit schema dekt 19 entiteitstypen, waaronder personen, organisaties, locaties, identificatiecodes, beroepen, sociale relaties, producten, temporele informatie en hoeveelheden. Het schema werd iteratief verfijnd om informatie te vangen die kan bijdragen aan heridentificatie in conversationele settings.
2. Synthetische Dialooggeneratie: Dialogen werden gegenereerd met behulp van het Gemini large language model (2.5 Pro) over acht interactiescenario's: noodoproepen, medische anamnese-interviews, therapiesessies, verzekeringscommunicatie, klantenservice, klinische interviews met betrekking tot een AI-ondersteund dashboard, politierapporten en groepstherapie-discussies. Om diversiteit te waarborgen, specificeerden prompts sprekerspersona's, geografische contexten (gelokaliseerd naar specifieke steden in het VK, Duitsland, etc.) en interactiedoelen.
3. Curatie en Annotatie: Gegenereerde dialogen werden handmatig gecureerd om plausibiliteit te verbeteren en repetitieve artefacten te verwijderen. Gevoelige informatie werd geannoteerd door twee onafhankelijke annotatoren via het INCEpTION-platform. Meningsverschillen werden opgelost door een derde annotator, wat resulteerde in gold-standard annotaties met een Krippendorff's alpha van 0,87.
4. Vertaling en Lokalisatie: De gecureerde Engelse dialogen werden vertaald naar tien aanvullende talen (Arabisch, Fins, Frans, Duits, Hindi, Italiaans, Pools, Portugees, Spaans en Turks) met behulp van het Gemini-model. Cruciaal is dat deze vertalingen werden gelokaliseerd naar land- en stadspecifieke contexten (bijv. het aanpassen van Londense settings naar Berlijn voor Duits) om culturele en linguïstische realisme te waarborgen. Annotaties werden geprojecteerd op de vertaalde teksten en handmatig gecorrigeerd.
5. Verbalisering en Transcriptie: Alle geschreven dialogen werden omgezet naar synthetische spraak met behulp van Google Cloud Text-to-Speech (TTS) API's. Deze audiobestanden werden vervolgens getranscribeerd met een lokaal geïnstalleerd Whisper (large v3) model met Pyannote sprekersdiarizatie. Dit proces introduceerde realistische ASR-artefacten (transcriptiefouten, interpunctie-inconsistenties) en uitdagingen in sprekerssegmentatie. De oorspronkelijke annotaties werden automatisch geprojecteerd op deze transcripten en handmatig gecureerd om uit te lijnen met de uit spraak afgeleide tekst.

Belangrijkste Bijdragen

• Meertalige Dataset: DialogPII biedt gealigneerde geschreven en spraak-afgeleide transcripten in 11 talen, dekkend over 19 entiteitstypen en 8 verschillende interactiescenario's.
• Speech-ASR Pijplijn: In tegen tegenstelling tot eerdere werken die zich uitsluitend op tekst richten, bevat deze dataset spraak-afgeleide transcripten gegenereerd via TTS en ASR, wat onderzoek mogelijk maakt naar de-identificatie in automatische spraakherkenningspijlines.
• Scenario Diversiteit: De dataset dekt een breed spectrum van privacygevoelige contexten, van noodoproepen en politierapporten tot therapiesessies en verzekeringscommunicatie, inclusclusief uitgebreide multi-speaker groepstherapiegesprekken.
• Baseline Modellen: De auteurs stellen baseline meertalige Named Entity Recognition (NER) modellen vrij die op de dataset zijn getraind, gebruikmakend van een ModernBERT-architectuur met een CRF-decoderinglaag en document-niveau contextverrijking.
• Technische Validatie: Het artikel biedt uitgebreide validatie, inclusief analyse van de overeenstemming tussen annotatoren, evaluatie van de vertaalingskwaliteit, beoordeling van de annotatieprojectie en benchmark-experimenten.

Resultaten

• Annotatiekwaliteit: De overeenstemming tussen annotatoren voor de Engelse dialogen was 0,87 (Krippendorff's alpha). Handmatige evaluatie van vertalingen gaf een hoge linguïstische kwaliteit aan (gemiddelde fluency score 4,3/5), maar merkte problemen op met culturele lokalisatie en repetitieve dialogstructuren in sommige talen.
• Modelprestaties op Synthetische Data: Het baseline meertalige NER-model behaalde een gemiddelde leniente F1-score van 89,31 en een exacte F1-score van 86,82 op de synthetische dialog testsets. Prestaties varieerden per taal, met hogere scores voor Duits, Spaans en Engels, en lagere scores voor Arabisch en Hindi.
• Modelprestaties op Spraakdata: Wanneer geëvalueerd op spraak-getranscribeerde dialogen, daalden de prestaties matig (gemiddelde leniente F1: 85,54; exacte F1: 81,81), wat de uitdagingen reflecteert die door ASR-fouten worden geïntroduceerd.
• Externe Validatie: Modellen getraind op DialogPII werden getest op de real-world CallFriend corpus. Hoewel de prestaties daalden vergeleken met in-domain testen, behaalden de modellen bemoedigende resultaten, met name onder type-agnostische evaluatie (macro-gemiddelde leniente F1 > 83), wat suggereert dat de geleerde representaties generaliseren naar spontane, real-world conversaties.

Betekenis

Het artikel beweert dat DialogPII een kritiek gat vult in de beschikbaarheid van meertalige middelen voor conversationele de-identificatie. Door gealigneerde tekst- en spraakbronnen te bieden over 11 talen en diverse scenario's, faciliteert de dataset onderzoek naar:

• Meertalige de-identificatie en conversationele NER.
• Dialogische anonimisering en privacy-bewuste NLP.
• Robuustheid van gevoelige informatie detectie in automatische spraakherkenningspijlines.

De auteurs benadrukken dat hoewel de dataset synthetisch is, het onderzoekers in staat stelt om anonimisatiesystemen te ontwikkelen en te testen die, eenmaal uitgerold, de mogelijkheid bieden om echte conversationele data te delen. De release van baseline modellen en de demonstratie van overdraagbaarheid naar real-world data (CallFriend) suggereren dat DialogPII een nuttige basis biedt voor het ontwikkelen van robuuste, meertalige de-identificatiesystemen, hoewel de auteurs opmerken dat verdere arbeid nodig is voor domeinadaptatie naar natuurlijk voorkomende conversationele data.