Resumo Técnico: Conhecimento Além da Língua: Fechando a Lacuna na Avaliação Multilíngue de Esquecimento de Máquina

1. Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) treinados em corpora multilíngues apresentam riscos de privacidade, tornando necessária a Esquecimento de Máquina Multilíngue (MMU) para remover informações sensíveis em múltiplas línguas. Embora a pesquisa existente sobre Esquecimento de Máquina (MU) tenha se concentrado em conjuntos de dados centrados no inglês, estudos recentes destacam que o esquecimento em cenários multilíngues é complicado pela disseminação interlinguística, onde o conhecimento adquirido em uma língua persiste ou se espalha para outras.

Os protocolos de avaliação atuais para MMU são insuficientes porque:

1. Avaliam línguas isoladamente: Avaliam o desempenho do esquecimento por língua (por exemplo, verificando se "Veronica Bowman" foi esquecida em inglês) sem verificar se o mesmo conhecimento permanece acessível em outras línguas (por exemplo, albanês ou africâner).
2. Falham em capturar a distribuição: Não levam em conta o fato de que o conhecimento em MMU está distribuído entre línguas e adquirido tanto por memorização direta (treinamento em pares de línguas específicos) quanto por disseminação interlinguística indireta.
3. Exageram a eficácia: Um modelo pode parecer ter esquecido com sucesso informações na língua avaliada, enquanto a informação subjacente permanece recuperável em uma língua diferente, levando a conclusões enganosas sobre a segurança da privacidade.

2. Metodologia

Construção do Conjunto de Dados

Para abordar a falta de dados de avaliação padronizados, os autores construíram um conjunto de dados paralelo multilíngue em grande escala:

• Escala: 3.800 pares de perguntas e respostas (QA) sintéticos em 10 línguas (19 atributos × 200 perfis).
• Línguas: Inclui 5 línguas de alto recurso (inglês, chinês, alemão, russo, espanhol) e 5 línguas de baixo recurso (bengali, hebraico, tâmil, africâner, albanês).
• Pipeline de Geração: Perfis sintéticos foram gerados usando Faker, convertidos em pares de QA em inglês usando um LLM e traduzidos para outras 9 línguas. Um processo de verificação por tradução reversa (usando Google Translate e LLMs) garantiu equivalência semântica em todas as línguas.
• Configuração Experimental: O conjunto de dados foi dividido em Línguas de Treinamento (usadas para memorização e esquecimento) e Línguas de Retenção (usadas exclusivamente para avaliação para simular a disseminação interlinguística).

Métricas Propostas

O artigo introduz duas novas métricas projetadas para avaliar a natureza multilíngue do esquecimento:

1. Pontuação de Separabilidade do Conhecimento (KSS):

   • Objetivo: Medir a qualidade geral do esquecimento, distinguindo entre Conhecimento-Alvo (a ser esquecido) e Conhecimento Não-Alvo (a ser retido) em todas as línguas.
   • Mecanismo: Agrega uma "pontuação de esquecimento" ($S_i$) para cada instância de conhecimento entre línguas, utilizando métodos baseados em probabilidade e baseados em geração (Equivalência Semântica).
   • Componentes:
     • KSS-ROC: Área sob a Curva Característica Operacional do Receptor, medindo a separabilidade geral entre os conjuntos de esquecimento e retenção.
     • KSS-PR: Área sob a Curva Precisão-Recall, abordando especificamente o desequilíbrio de classes onde o conjunto de esquecimento é tipicamente muito menor que o conjunto de retenção.

2. Pontuação de Persistência do Conhecimento (KPS):

   • Objetivo: Quantificar a extensão na qual o conhecimento-alvo, esquecido com sucesso em uma "língua base", persiste (permanece recuperável) em outras línguas.
   • Mecanismo: Para uma língua base $l_1$ e línguas de comparação $L_2$, calcula a fração de amostras em que o modelo esqueceu o conhecimento em $l_1$ (Equivalência Semântica = 0), mas o manteve em $l_2$ (Equivalência Semântica = 1).
   • Interpretação: Um KPS mais baixo indica um melhor desempenho de esquecimento (menor persistência interlinguística).

Configuração Experimental

Os autores avaliaram vários métodos de esquecimento baseados em otimização (Gradiente Ascendente, GAGDR, GAKLR, NPO) e um método baseado em poda no modelo Llama3.1-8B-Instruct. Os experimentos foram conduzidos sob diferentes proporções de conjunto de esquecimento (1%, 3%, 5%) e analisados separadamente para os conjuntos de línguas de Treinamento e de Retenção.

3. Principais Resultados

Dificuldade de Esquecimento em Línguas de Retenção

• Disparidade de Desempenho: O esquecimento é significativamente mais difícil em línguas de retenção (Caso 1) em comparação com línguas de treinamento (Caso 2).
• Evidência: As pontuações KSS-ROC foram consistentemente mais baixas para línguas de retenção (por exemplo, máximo de 0,76 versus 0,99 em línguas de treinamento para o melhor método), indicando que distinguir entre conhecimento-alvo e não-alvo é mais difícil quando o conhecimento foi adquirido via disseminação interlinguística em vez de treinamento direto.

Impacto da Proporção de Esquecimento

• Degradação: À medida que a proporção de esquecimento aumenta (de 1% para 5%), o desempenho do esquecimento se degrada. A fronteira entre conhecimento-alvo e não-alvo torna-se cada vez mais obscura, dificultando que os modelos distingam o que esquecer.
• Persistência: As pontuações KPS aumentaram significativamente com proporções de esquecimento mais altas, mostrando que conjuntos de esquecimento maiores levam a uma persistência interlinguística mais severa.

Descobertas Específicas por Método

• Otimização vs. Poda: Embora métodos baseados em poda tenham alcançado altas pontuações KSS-ROC (boa separabilidade global), eles exibiram pontuações KSS-PR desproporcionalmente baixas. A visualização das pontuações de esquecimento ($S_i$) revelou que a poda atribuiu altas pontuações de esquecimento a uma quantidade significativa de conhecimento não-alvo, levando a uma sobreposição nas distribuições que os métodos baseados em otimização evitaram.
• Persistência entre Línguas: Mesmo com esquecimento bem-sucedido em línguas de treinamento, o conhecimento-alvo persistiu em línguas de retenção (KPS > 0 para todos os métodos), confirmando o risco de vazamento de informações interlinguísticas.

4. Principais Contribuições

1. Cenário MMU Abrangente: Definiu conhecimento em MMU como instâncias expressas em múltiplas línguas, adquiridas tanto por memorização direta quanto por disseminação interlinguística.
2. Conjunto de Dados em Grande Escala: Construiu um conjunto de dados paralelo multilíngue de QA com 3.800 instâncias abrangendo 10 línguas com controle rigoroso de qualidade.
3. Métricas de Avaliação Inovadoras: Propôs KSS e KPS para avaliar a qualidade do esquecimento de forma holística e medir a consistência interlinguística, respectivamente.
4. Insights Empíricos: Demonstrou que os protocolos de avaliação existentes, língua por língua, são insuficientes e que o desempenho do esquecimento varia significativamente entre línguas de treinamento e de retenção.

5. Significado e Limitações

Significado:
O artigo argumenta que uma avaliação confiável de MMU requer métricas que verifiquem a inacessibilidade da informação consistentemente em todas as línguas. As métricas KSS e KPS propostas fornecem um novo paradigma para avaliar a MMU, revelando fenômenos únicos, como a dificuldade de esquecimento em línguas de retenção e os modos de falha específicos de métodos baseados em poda em cenários multilíngues.

Limitações:

• Diversidade Linguística: As línguas de retenção foram restritas à família indo-europeia (africâner e espanhol), limitando a generalização dos achados entre diferentes estruturas linguísticas.
• Escala do Modelo: Os experimentos foram limitados a um modelo de 8 bilhões de parâmetros devido a restrições computacionais; modelos maiores podem exibir dinâmicas de esquecimento diferentes.
• Escopo da Métrica: Embora KSS e KPS abordem a medição baseada em conhecimento, os autores reconhecem o potencial para metodologias de avaliação alternativas ou mais diversas.

Os autores concluem que a pesquisa futura sobre MMU deve considerar explicitamente as características multilíngues e visar o esquecimento de conhecimento entre línguas, em vez de tratar as línguas como entidades isoladas.