Resumo Técnico: DialogPII

Definição do Problema

Dados conversacionais coletados em domínios como saúde, ciências sociais e suporte ao cliente são recursos críticos para pesquisa e análise automatizada. No entanto, o compartilhamento responsável desses dados é dificultado pela presença de informações de identificação pessoal (PII). A pesquisa existente sobre anonimização de texto concentrou-se principalmente em documentos médicos formais (ex.: notas clínicas), enquanto a linguagem conversacional apresenta desafios únicos. Interações faladas envolvem frases fragmentadas, linguagem informal, interrupções, mudanças de interlocutor e revelações espontâneas, o que torna difícil a transferência direta de frameworks de desidentificação orientados a documentos.

Além disso, há uma escassez significativa de recursos multilíngues para desidentificação conversacional. Os benchmarks existentes são, em sua maioria, monolíngues, centrados no inglês ou focados em textos gerais da web, em vez de cenários de diálogo sensíveis. Datasets conversacionais do mundo real são difíceis de compartilhar devido a restrições éticas e legais relativas à privacidade. Consequentemente, há uma necessidade de um dataset sintético, de alta qualidade e multilíngue, que cubra diversos cenários de interação e inclua tanto textos escritos quanto transcrições derivadas de fala para apoiar o desenvolvimento e a avaliação de sistemas de desidentificação automática.

Metodologia

Os autores apresentam o DialogPII, um dataset criado por meio de um pipeline de cinco etapas projetado para gerar recursos sintéticos, multilíngues e alinhados à fala.

1. Definição do Esquema de Anotação: Os autores desenvolveram um esquema orientado ao diálogo combinando conceitos de frameworks de Identificador de Saúde Pessoal (PHI) e do Text Anonymization Benchmark (TAB). Este esquema cobre 19 tipos de entidades, incluindo pessoas, organizações, locais, códigos de identificação, profissões, relacionamentos sociais, produtos, informações temporais e quantidades. O esquema foi refinado iterativamente para capturar informações que pudessem contribuir para a reidentificação em contextos conversacionais.
2. Geração de Diálogos Sintéticos: Os diálogos foram gerados usando o modelo de linguagem grande Gemini (2.5 Pro) em oito cenários de interação: chamadas de emergência, entrevistas de anamnese médica, sessões de terapia, comunicação de seguros, suporte ao cliente, entrevistas clínicas sobre um dashboard apoiado por IA, relatórios policiais e discussões de terapia em grupo. Para garantir a diversidade, os prompts especificaram personas de falantes, contextos geográficos (localizados em cidades específicas do Reino Unido, Alemanha, etc.) e objetivos de interação.
3. Curadoria e Anotação: Os diálogos gerados foram curados manualmente para melhorar a plausibilidade e remover artefatos repetitivos. As informações sensíveis foram anotadas por dois anotadores independentes usando a plataforma INCEpTION. As divergências foram resolvidas por um terceiro anotador, resultando em anotações de padrão ouro com um alfa de Krippendorff de 0,87.
4. Tradução e Localização: Os diálogos curados em inglês foram traduzidos para dez idiomas adicionais (árabe, finlandês, francês, alemão, hindi, italiano, polonês, português, espanhol e turco) usando o modelo Gemini. Crucialmente, essas traduções foram localizadas para contextos específicos de países e cidades (ex.: adaptando cenários de Londres para Berlim para o alemão) para garantir realismo cultural e linguístico. As anotações foram projetadas nos textos traduzidos e corrigidas manualmente.
5. Verbalização e Transcrição: Todos os diálogos escritos foram convertidos em fala sintética usando APIs de Google Cloud Text-to-Speech (TTS). Esses arquivos de áudio foram então transcritos usando um modelo Whisper (large v3) implantado localmente com diarização de locutor Pyannote. Este processo introduziu artefatos realistas de ASR (erros de transcrição, inconsistências de pontuação) e desafios de segmentação de locutor. As anotações originais foram automaticamente projetadas nesses transcritos e curadas manualmente para se alinharem ao texto derivado da fala.

Principais Contribuições

• Dataset Multilíngue: O DialogPII fornece transcrições alinhadas (texto e baseadas em fala) em 11 idiomas, cobrindo 19 tipos de entidades e 8 cenários de interação distintos.
• Pipeline de Fala-ASR: Diferente de trabalhos anteriores focados apenas em texto, este dataset inclui transcrições derivadas de fala geradas via TTS e ASR, permitindo a pesquisa sobre desidentificação em pipelines de reconhecimento automático de fala.
• Diversidade de Cenários: O dataset cobre um amplo espectro de contextos sensíveis à privacidade, desde chamadas de emergência e relatórios policiais até sessões de terapia e comunicações de seguros, incluindo conversas estendidas de terapia de grupo com múltiplos falantes.
• Modelos de Baseline: Os autores disponibilizam modelos de Reconhecimento de Entidades Nomeadas (NER) multilíngues de baseline treinados no dataset, utilizando uma arquitetura ModernBERT com uma camada de decodificação CRF e enriquecimento de contexto ao nível do documento.
• Validação Técnica: O artigo fornece uma validação abrangente, incluindo análise de concordância entre anotadores, avaliação de qualidade de tradução, avaliação de projeção de anotação e experimentos de benchmark.

Resultados

• Qualidade da Anotação: A concordância entre anotadores para os diálogos em inglês foi de 0,87 (alfa de Krippendorff). A avaliação manual das traduções indicou alta qualidade linguística (pontuação média de fluência de 4,3/5), mas observou problemas com localização cultural e estruturas de diálogo repetitivas em alguns idiomas.
• Desempenho do Modelo em Dados Sintéticos: O modelo NER multilíngue de baseline alcançou um F1 médio leniente de 89,31 e um F1 exato de 86,82 nos conjuntos de teste de diálogos sintéticos. O desempenho variou por idioma, com pontuações mais altas para alemão, espanhol e inglês, e mais baixas para árabe e hindi.
• Desempenho do Modelo em Dados de Fala: Quando avaliado em diálogos transcritos de fala, o desempenho diminuiu moderadamente (F1 leniente médio: 85,54; F1 exato: 81,81), refletindo os desafios introduzidos pelos erros de ASR.
• Validação Externa: Os modelos treinados no DialogPII foram testados no corpus real CallFriend. Embora o desempenho tenha caído em comparação com o teste in-domain, os modelos alcançaram resultados encorajadores, particularmente sob avaliação agnóstica de tipo (média macro de F1 leniente > 83), sugerindo que as representações aprendidas se generalizam para conversas espontâneas do mundo real.

Significância

O artigo afirma que o DialogPII preenche uma lacuna crítica na disponibilidade de recursos multilíngues para desidentificação conversacional. Ao fornecer recursos de texto e fala alinhados em 11 idiomas e diversos cenários, o dataset facilita a pesquisa sobre:

• Desidentificação multilíngue e NER conversacional.
• Anonimização de diálogo e processamento de linguagem natural (NLP) preservador de privacidade.
• Robustez da detecção de informações sensíveis em pipelines de reconhecimento automático de fala.

Os autores enfatizam que, embora o dataset seja sintético, ele permite que pesquisadores desenvolvam e testem sistemas de anonimização que, uma vez implantados, poderiam tornar o compartilhamento de dados conversacionais genuínos viável. A liberação dos modelos de baseline e a demonstração de transferibilidade para dados do mundo real (CallFriend) sugerem que o DialogPII fornece uma base útil para o desenvolvimento de sistemas de desidentificação multilíngues robustos, embora os autores observem que trabalhos adicionais são necessários para a adaptação de domínio para dados conversacionais naturais.