Resumo Técnico: Auditoria da Equidade Translingual em Marcas d'Água de Modelos de Linguagem

Declaração do Problema

Os Grandes Modelos de Linguagem (LLMs) tornaram o texto gerado por IA cada vez mais indistinguível da escrita humana, levantando preocupações relativas à desinformação, erosão da confiança e colapso de modelos. A marca d'água de texto é uma mitigação proposta, inserindo uma assinatura estatística recuperável na saída do modelo para permitir a detecção. No entanto, os atuais frameworks de avaliação para esquemas de marca d'água são quase exclusivamente conduzidos em textos em inglês, utilizando um conjunto estreito de medidas de qualidade e limiares de detecção fixos.

O artigo identifica uma lacuna crítica: a suposição implícita de que esquemas que performam bem em inglês se generalizarão para outros idiomas não foi testada empiricamente em escala. Isso é particularmente problemático dado que a marca d'água já é implementada em ambientes multilíngues e que a ameaça da desinformação gerada por IA é global. Os autores argumentam que escolhas de design de avaliação, inconsequentes em inglês (ex: seleção de limiar, paradigmas de qualidade), tornam-se consequentes translingualmente, potencialmente mascarando lacunas estruturais de equidade.

Metodologia

Os autores propõem um framework de avaliação sistemática projetado para auditar a equidade translingual, aplicado a uma grade experimental abrangente.

Grade Experimental

O estudo avalia cada célula de uma grade de 11 idiomas × 6 esquemas × 3 geradores × 2 regimes, gerando aproximadamente 200.000 pares pareados com e sem marca d'água.

• Idiomas: 11 idiomas abrangendo quatro escritas (Latina, Devanagari, Árabe, Han) e oito famílias tipológicas (Germânica, Românica, Índica, Semítica, Sinítica, Japônica, Túrquica, Austroasiática).
• Esquemas: Seis esquemas de marca d'água cobrindo duas famílias de design:
  • Viés de logit de lista-verde (Green-list logit-bias): KGW, Unigram, XSIR.
  • Sem distorção (Distortion-free): DIP, SynthID-Text, EXPEdit.
• Geradores: Três modelos de pesos abertos (Mistral-NeMo-12B, Gemma-3-4B, Qwen2.5-7B) tanto em variantes base quanto ajustadas para instrução (instruction-tuned).
• Regimes:
  • Base (FLORES+): Prompts de continuação paralela para controlar a variação de conteúdo do prompt.
  • Instrução (AYA): Prompts de instrução de falantes nativos para refletir entradas de implementação realistas.

Componentes do Framework de Avaliação

O framework consiste em quatro componentes distintos:

1. Limiares de Detecção Calibrados Empiricamente: Em vez de usar limiares codificados rigidamente visando uma Taxa de Falso Positivo (FPR) teórica sob um nulo de token IID (o que a geração translingual viola), os autores calibram os limiares por contexto de implementação (por idioma ou globalmente) com base na distribuição empírica de pontuações sem marca d'água.
2. Medida de Companheirismo Independente de Limiar: Para distinguir entre falhas de calibração (onde o limiar é definido muito alto em relação à distribuição de pontuação) e falhas de detecção (onde o sinal da marca d'água está ausente), os autores relatam a Área Sob a Curva (AUC) da estatística Mann-Whitney U.
3. Três Paradigmas de Qualidade Disjuntos: Reconhecendo que nenhuma métrica isolada captura a preservação da qualidade, os autores utilizam:
   • Distribucional (MAUVE): Mede o deslocamento distributivo agregado usando embeddings.
   • Semântico Pareado (BERTScore): Mede a similaridade semântica por prompt em relação às conclusões sem marca d'água.
   • Perplexidade de Referência (PPL): Mede a preservação da verossimilhança por token sob um modelo de referência externo.
4. Decomposição de Entropia Generalizada: Para quantificar a disparidade translingual, os autores utilizam o índice de Entropia Generalizada ($GE_2$) decomposto sobre uma partição tipológica pré-registrada. Isso divide a disparidade em componentes dentro da família (idiossincrático a idiomas específicos) e entre famílias (estrutural às propriedades tipológicas).

Resultados Principais

Equidade de Detecção

• Falha de Calibração vs. Falha de Detecção: Vários esquemas (ex: Unigram-Gemma, XSIR-Qwen) pareceram falhar na detecção sob limiares globais (TPR $\approx$ 0). No entanto, o companheiro AUC revelou alta separabilidade (AUC > 0,9), indicando que estes eram falhas de calibração, onde o limiar global estava acima do suporte da pontuação sem marca d'água. A recalibração por idioma recuperou o desempenho significativo de detecção.
• Colapso do Ajuste de Instrução (Instruction-Tuning Collapse): O desempenho de detecção caiu significativamente no regime de instrução para a maioria dos esquemas. Embora o AUC tenha permanecido alto, as Taxas de Verdadeiros Positivos (TPR) colapsaram, sugerindo que o sinal da marca d'água é comprimido, mas não apagado. Isso indica um problema de calibração em vez de uma perda fundamental de sinal.
• Disparidade Estrutural: A disparidade translingual na detecção é predominantemente entre famílias (mediana >90% da variância). Isso indica que as lacunas de equidade são estruturais às propriedades da língua (tipologia) e não idiossincráticas a idiomas individuais.

Equidade de Qualidade

• Esquemas "Sem Distorção" são Empiricamente Distorcedores: Contra-intuitivamente, os esquemas "sem distorção" (SynthID, EXPEdit) exibiram a maior distorção em todos os paradigmas de qualidade no regime base. Eles mostraram as menores preservações de MAUVE e pontuações de PPL, frequentemente uma ordem de magnitude pior do que os esquemas de viés de logit.
• Inversão de Ranking entre Paradigmas: As classificações dos esquemas variaram significativamente dependendo do paradigma de qualidade utilizado. Para esquemas de lista-verde, o PPL e as métricas baseadas em embeddings (MAUVE/BERTScore) frequentemente produziram ordenações por idioma opostas, sugerindo que a fluência local (capturada pelo PPL) e o deslocamento distributivo (capturado pelo MAUVE) são desacoplados.
• Disparidade Estrutural na Qualidade: Semelhante à detecção, a disparidade de qualidade é dominada pela variação entre famílias (mediana >85%), reforçando que as lacunas de equidade estão ligadas às famílias tipológicas.

Detecção-Qualidade Conjunta

O panorama conjunto de detecção e qualidade revela que um esquema pode ser "equitativo" em um eixo, mas inequitativo no outro. Por exemplo, alguns esquemas detectam bem, mas preservam mal a qualidade, ou vice-versa. A topologia desta inequidade conjunta muda entre os regimes base e de instrução.

Significância e Alegações

O artigo afirma apresentar a primeira auditoria sistemática da equidade translingual em marcas d'água de LLM. Suas principais contribuições são:

1. Metodológica: Um framework que trata a equidade multilíngue como um objeto de medição de primeira classe, utilizando calibração empírica, diagnósticos independentes de limiar e decomposição tipológica.
2. Empírica: A identificação de modos de falha invisíveis a avaliações de um único idioma ou paradigma, incluindo:
   • Falhas de calibração interpretadas erroneamente como falhas de detecção.
   • A realidade empírica de que esquemas "sem distorção" podem ser os mais distorcedores.
   • A dominância da disparidade entre famílias, sugerindo que as lacunas de equidade são estruturais às propriedades linguísticas (ex: interações de tokenizador, morfologia) e não solucionáveis apenas escalando dados para idiomas específicos.

Os autores concluem que essas lacunas estruturais implicam escolhas arquiteturais (como a construção do tokenizador ou o design da partição) que operam no nível da família, e não de forma idiossincrática a idiomas específicos. O trabalho serve como um chamado para mais pesquisas voltadas à equidade em marcas d'água de LLM, enfatizando que as atuais avaliações centradas em inglês são insuficientes para o deployment global.