How Far Do Auto-Interpretation Labels Generalize: A Controlled Study Across Languages, Scripts, and Rewordings

Resumen Técnico: ¿Hasta qué punto se generalizan las etiquetas de auto-interpretación?

Declaración del Problema
Los autoencoders dispersos (SAEs) se han convertido en una herramienta estándar para interpretar modelos de lenguaje (LMs) mediante la descomposición de activaciones densas en características dispersas e interpretables por humanos. Debido a que los modelos contienen muchas más características de las que pueden inspeccionarse manualmente, los profesionales dependen de las etiquetas de auto-interpretación: descripciones en lenguaje natural generadas por un LLM basadas en los ejemplos de máxima activación de una característica.

El problema central abordado es la generalizabilidad de estas etiquetas. Una etiqueta que describe un concepto (por ejemplo, "decepción" o "contenido violento") implica que la característica rastrea ese concepto de manera universal. Sin embargo, sigue sin estar claro si una característica etiquetada para un concepto en inglés detecta realmente ese mismo concepto en diferentes idiomas, escrituras y reformulaciones. Si el comportamiento de una característica depende fuertemente de la forma superficial específica de la entrada (por ejemplo, texto en inglés) en lugar del concepto semántico subyacente, la etiqueta puede ser engañosa para la auditoría de seguridad o el control del modelo (model steering) en contextos multilingües.

Metodología
Los autores construyen un paradigma de evaluación factorial controlado utilizando la digrafía serbia como banco de pruebas. El serbio se escribe nativamente tanto en alfabeto latino como en cirílico, relacionados por una transliteración determinista y sin pérdida. Esto permite a los investigadores variar la escritura mientras mantienen el idioma, la redacción y el significado constantes.

El estudio utiliza:

• Dataset: 300 oraciones del split de desarrollo FLORES+, que cubren registros de noticias, instructivos y de viajes.
• Variantes: Cada oración aparece en cuatro formas: Inglés (Latín), Serbio (Latín), Serbio (Cirílico) y Ruso (Cirílico).
• Condiciones: Para cada variante, se prueban tres condiciones:
  1. Original: La traducción profesional o su transliteración.
  2. Paráfrasis: Una reescritura que preserva el significado con una forma superficial variada.
  3. Aleatorio: Una oración no relacionada de longitud similar en el mismo idioma/escritura.
• Modelos y SAEs: El análisis primario utiliza Gemma-3-27B con SAEs de Gemma Scope 2 (ancho de diccionario de 16k, activación JumpReLU). Los resultados se validan en distintas escalas de modelos (1B, 12B) y arquitecturas (Llama-3.1-8B con Llama Scope SAEs).
• Métricas de Evaluación:
  • Solapamiento de Características (Feature Overlap): Medido mediante la similitud de Jaccard de los conjuntos de características activas a través de las capas para determinar si las características codifican un significado abstracto.
  • Falsificación de la Auto-interpretación: Se seleccionan características si se activan tanto en originales en inglés como en paráfrasis en ruso (confirmando el seguimiento semántico translingüístico). Sus etiquetas auto-generadas (desde Neuronpedia, usando Claude Sonnet y Gemini) se prueban luego contra las versiones en serbio latín y cirílico. Un "fallo" (miss) ocurre si una característica etiquetada por contenido no se activa en el mismo significado en una escritura/idioma diferente.

Hallazgos Clave

1. Las características de los SAE codifican significado abstracto:
   El estudio confirma que las características de los SAE codifican genuinamente contenido semántico que sobrevive a cambios en la escritura, el idioma y la redacción.

   • Invarianza de la Escritura: La transliteración entre el serbio latín y el cirílico preserva un alto grado de solapamiento de características (media de Jaccard 0.73).
   • Características Semánticas Translingüísticas: Las características activadas por el mismo contenido en inglés y ruso (que difieren en escritura, idioma y redacción) muestran un solapamiento sustancial (pico de Jaccard 0.57), significativamente mayor que las líneas base aleatorias (0.13). Esto demuestra que existen características semánticas translingüísticas y que vale la pena etiquetarlas.

2. Las etiquetas de auto-interpretación fallan sistemáticamente en formas menos representadas:
   A pesar de la existencia de características semánticas, las etiquetas auto-generadas no predicen con precisión el comportamiento de las características en todas las formas.

   • Tasas de Fallo (Miss Rates): Las características etiquetadas por contenido fallan en detectar el mismo significado en serbio hasta 4 veces más a menudo que dentro del inglés. Por ejemplo, en la capa 53, la tasa de fallo para paráfrasis en inglés es del 7.3%, mientras que la tasa de fallo promedio para el serbio es del 30.1%.
   • Asimetría de la Escritura: Incluso entre las dos escritas del serbio (que son transliteraciones deterministas entre sí), las características fallan más en serbio cirílico que en serbio latín. La relación de fallo de cirílico a latín crece con la profundidad de la red, alcanzando 1.35× en la capa final.
   • Correlación con la Distribución de Entrenamiento: Estos fallos se alinean con la cobertura estimada de los datos de entrenamiento. El inglés es dominante en los corpora de preentrenamiento, el ruso es de altos recursos pero menos dominante, y el serbio (particularmente el cirílico) es escaso. La fiabilidad de las características del modelo se degrada a medida que disminuye la representación de la forma de entrada en los datos de entrenamiento.

3. Divergencia Dependiente de la Profundidad:
   La brecha en la fiabilidad se amplía a medida que aumenta la profundidad de la red. Mientras que la fiabilidad dentro del mismo idioma (inglés) mejora o se mantiene estable en las capas más profundas, la fiabilidad translingüística (serbio) se degrada. Esto sugiere que las capas más profundas pueden vincular las representaciones más estrechamente a formas de entrada específicas en lugar de a conceptos abstractos.

4. Invisibilidad del Fallo:
   Crucialmente, las propias etiquetas de auto-interpretación no proporcionan indicación alguna de estos fallos. Una etiqueta como "atletas olímpicos" parece precisa basada en las activaciones máximas de la característica (probablemente ejemplos en inglés), pero falla al predecir el silencio de la característica ante el mismo concepto en serbio cirílico.

Significado y Reivindicaciones
El artículo sostiene que las etiquetas de auto-interpretación deben entenderse no como garantías sobre un concepto en general, sino como reivindicaciones sobre el comportamiento de una característica en sus entradas mejor representadas.

• Limitación de las Herramientas Actuales: Los profesionales que dependen de estas etiquetas para la auditoría de seguridad o el control del modelo pueden ser engañados. Una característica etiquetada para un concepto crítico de seguridad podría detectar dicho concepto en inglés, pero fallar en activarse en serbio cirílico, permitiendo que el contenido dañino pase inadvertido.
• Fallo Graduado: El fallo no es binario (alto recurso vs. bajo recurso), sino graduado, correlacionándose con la frecuencia de la escritura/idioma específico en los datos de entrenamiento.
• Contribución Metodológica: El estudio proporciona una suite de evaluación factorial controlada (publicada con el artículo) que aísla la escritura, el idioma, la redacción y el significado, ofreciendo un método robusto para que trabajos futuros prueben la generalizabilidad de las herramientas de interpretabilidad.

Los autores concluyen que, si bien los SAE extraen con éxito características semánticas, los procesos actuales de auto-interpretación no avanzan al mismo ritmo que la complejidad de la generalización multilingüe, creando un "punto ciego" donde las etiquetas son localmente precisas pero globalmente poco fiables.