Resumen Técnico: Conocimiento más allá del idioma: Cerrando la brecha en la evaluación del olvido automático multilingüe

1. Declaración del Problema

Los Modelos de Lenguaje Grandes (LLM) entrenados en corpus multilingües plantean riesgos de privacidad, lo que hace necesaria la Eliminación Automática Multilingüe (MMU) para eliminar información sensible en múltiples idiomas. Aunque la investigación existente sobre Eliminación Automática (MU) se ha centrado en conjuntos de datos centrados en inglés, estudios recientes destacan que el olvido en entornos multilingües se complica por la propagación interlingüística, donde el conocimiento adquirido en un idioma persiste o se extiende a otros.

Los protocolos de evaluación actuales para MMU son insuficientes porque:

1. Evalúan idiomas de forma aislada: Evalúan el rendimiento del olvido por idioma (por ejemplo, verificando si "Veronica Bowman" es olvidado en inglés) sin verificar si el mismo conocimiento sigue siendo accesible en otros idiomas (por ejemplo, albanés o afrikáans).
2. No capturan la distribución: No tienen en cuenta el hecho de que el conocimiento en MMU está distribuido entre idiomas y adquirido tanto mediante memorización directa (entrenamiento en pares de idiomas específicos) como mediante propagación interlingüística indirecta.
3. Sobrestiman la efectividad: Un modelo puede parecer haber olvidado con éxito la información en el idioma evaluado, mientras que la información subyacente sigue siendo recuperable en un idioma diferente, lo que lleva a conclusiones engañosas sobre la seguridad de la privacidad.

2. Metodología

Construcción del Conjunto de Datos

Para abordar la falta de datos de evaluación estandarizados, los autores construyeron un conjunto de datos paralelo multilingüe a gran escala:

• Escala: 3.800 pares de preguntas y respuestas sintéticos en 10 idiomas (19 atributos × 200 perfiles).
• Idiomas: Incluye 5 idiomas de recursos abundantes (inglés, chino, alemán, ruso, español) y 5 idiomas de recursos escasos (bengalí, hebreo, tamil, afrikáans, albanés).
• Pipeline de generación: Los perfiles sintéticos se generaron utilizando Faker, se convirtieron en pares de preguntas y respuestas en inglés mediante un LLM y se tradujeron a otros 9 idiomas. Un proceso de verificación por traducción inversa (utilizando Google Translate y LLMs) garantizó la equivalencia semántica en todos los idiomas.
• Configuración experimental: El conjunto de datos se dividió en Idiomas de Entrenamiento (utilizados para la memorización y el olvido) e Idiomas de Retención (utilizados exclusivamente para la evaluación para simular la propagación interlingüística).

Métricas Propuestas

El artículo introduce dos métricas novedosas diseñadas para evaluar la naturaleza multilingüe del olvido:

1. Puntuación de Separabilidad del Conocimiento (KSS):

   • Propósito: Mide la calidad general del olvido distinguiendo entre Conocimiento Objetivo (a olvidar) y Conocimiento No Objetivo (a retener) en todos los idiomas.
   • Mecanismo: Agrega una "puntuación de olvido" ($S_i$) para cada instancia de conocimiento en todos los idiomas utilizando métodos basados en probabilidad y basados en generación (Equivalencia Semántica).
   • Componentes:
     • KSS-ROC: Área bajo la curva característica operativa del receptor, que mide la separabilidad general entre los conjuntos de olvido y retención.
     • KSS-PR: Área bajo la curva de precisión-recall, abordando específicamente el desequilibrio de clases donde el conjunto de olvido suele ser mucho más pequeño que el conjunto de retención.

2. Puntuación de Persistencia del Conocimiento (KPS):

   • Propósito: Cuantifica la medida en que el conocimiento objetivo, olvidado con éxito en un "idioma base", persiste (sigue siendo recuperable) en otros idiomas.
   • Mecanismo: Para un idioma base $l_1$ e idiomas de comparación $L_2$, calcula la fracción de muestras donde el modelo ha olvidado el conocimiento en $l_1$ (Equivalencia Semántica = 0) pero lo retiene en $l_2$ (Equivalencia Semántica = 1).
   • Interpretación: Una KPS más baja indica un mejor rendimiento de olvido (menos persistencia interlingüística).

Configuración Experimental

Los autores evaluaron varios métodos de olvido basados en optimización (Ascenso de Gradiente, GAGDR, GAKLR, NPO) y un método basado en poda en el modelo Llama3.1-8B-Instruct. Los experimentos se realizaron bajo diferentes proporciones de conjunto de olvido (1%, 3%, 5%) y se analizaron por separado para los conjuntos de idiomas de entrenamiento y de retención.

3. Resultados Clave

Dificultad de Olvido en Idiomas de Retención

• Disparidad de Rendimiento: El olvido es significativamente más difícil en los idiomas de retención (Caso 1) en comparación con los idiomas de entrenamiento (Caso 2).
• Evidencia: Las puntuaciones KSS-ROC fueron consistentemente más bajas para los idiomas de retención (por ejemplo, máximo 0,76 frente a 0,99 en idiomas de entrenamiento para el mejor método), lo que indica que distinguir entre conocimiento objetivo y no objetivo es más difícil cuando el conocimiento se adquirió mediante propagación interlingüística en lugar de entrenamiento directo.

Impacto de la Proporción de Olvido

• Degradación: A medida que aumenta la proporción de olvido (de 1% a 5%), el rendimiento del olvido se degrada. La frontera entre el conocimiento objetivo y el no objetivo se vuelve cada vez más difusa, dificultando que los modelos distingan qué olvidar.
• Persistencia: Las puntuaciones KPS aumentaron significativamente con proporciones de olvido más altas, lo que demuestra que los conjuntos de olvido más grandes conducen a una persistencia interlingüística más severa.

Hallazgos Específicos por Método

• Optimización frente a Poda: Aunque los métodos basados en poda lograron puntuaciones KSS-ROC altas (buena separabilidad global), exhibieron puntuaciones KSS-PR desproporcionadamente bajas. La visualización de las puntuaciones de olvido ($S_i$) reveló que la poda asignó puntuaciones de olvido altas a una cantidad significativa de conocimiento no objetivo, lo que provocó una superposición en las distribuciones que los métodos basados en optimización evitaron.
• Persistencia entre Idiomas: Incluso con un olvido exitoso en los idiomas de entrenamiento, el conocimiento objetivo persistió en los idiomas de retención (KPS > 0 para todos los métodos), confirmando el riesgo de filtración de información interlingüística.

4. Contribuciones Clave

1. Escenario MMU Integral: Definió el conocimiento en MMU como instancias expresadas en múltiples idiomas, adquiridas tanto mediante memorización directa como propagación interlingüística.
2. Conjunto de Datos a Gran Escala: Construyó un conjunto de datos paralelo multilingüe de preguntas y respuestas con 3.800 instancias que abarca 10 idiomas con un control de calidad riguroso.
3. Métricas de Evaluación Novedosas: Propuso KSS y KPS para evaluar la calidad del olvido de manera holística y medir la consistencia interlingüística, respectivamente.
4. Perspectivas Empíricas: Demostró que los protocolos de evaluación por idioma existentes son insuficientes y que el rendimiento del olvido varía significativamente entre los idiomas de entrenamiento y los de retención.

5. Importancia y Limitaciones

Importancia:
El artículo argumenta que una evaluación fiable de MMU requiere métricas que verifiquen la inaccesibilidad de la información de manera consistente en todos los idiomas. Las métricas KSS y KPS propuestas proporcionan un nuevo paradigma para evaluar la MMU, descubriendo fenómenos únicos como la dificultad de olvidar en idiomas de retención y los modos de fallo específicos de los métodos basados en poda en entornos multilingües.

Limitaciones:

• Diversidad Lingüística: Los idiomas de retención se restringieron a la familia indoeuropea (afrikáans y español), lo que limita la generalización de los hallazgos a diferentes estructuras lingüísticas.
• Escala del Modelo: Los experimentos se limitaron a un modelo de 8 mil millones de parámetros debido a restricciones computacionales; los modelos más grandes pueden exhibir dinámicas de olvido diferentes.
• Alcance de la Métrica: Aunque KSS y KPS abordan la medición por conocimiento, los autores reconocen el potencial de metodologías de evaluación alternativas o más diversas.

Los autores concluyen que la investigación futura sobre MMU debe considerar explícitamente las características multilingües y buscar olvidar conocimiento a través de idiomas en lugar de tratar los idiomas como entidades aisladas.