Resumen Técnico: Dirección Translingüe para la Generación de Lenguaje Figurativo

Planteamiento del Problema

Los Modelos de Lenguaje de Gran Escala (LLM) multilingües demuestran la capacidad de generar lenguaje figurativo (por ejemplo, metáforas, modismos, ironía) en diversas lenguas. Sin embargo, no está claro si las señales neuronales internas que impulsan este comportamiento son estrictamente específicas de cada idioma o si contienen componentes reutilizables y translingües. Distinguir entre estas posibilidades es crítico para comprender el alcance de las representaciones semánticas compartidas en los modelos multilingües más allá del vocabulario y la sintaxis superficiales. Específicamente, el artículo investiga si las direcciones de dirección (steering directions) derivadas de las diferencias de activación entre lo figurativo y lo literal en un idioma pueden inducir eficazmente una generación figurativa similar en un idioma objetivo diferente sin reentrenamiento ni ajuste fino (fine-tuning).

Metodología

Los autores emplean la dirección por activación (activation steering) como una sonda basada en intervenciones para probar la portabilidad de las representaciones del lenguaje figurativo. El flujo de trabajo experimental consta de tres etapas principales:

1. Construcción de Vectores:

   • Adición de Activación Contrastiva (CAA): Para un idioma de origen $g$ y una categoría figurativa específica $c$, los autores construyen un vector de dirección $\hat{v}^{(l)}_{g,c}$ calculando la diferencia normalizada entre las medias de las activaciones de los estados ocultos de ejemplos figurativos ($D^+_{g,c}$) y ejemplos literales ($D^-_{g}$) en una capa específica del transformador $l$.
   • Datos: El estudio utiliza conjuntos equilibrados de hasta 500 ejemplos figurativos y 500 pies de foto literales monolingües (por ejemplo, pies de foto de COCO) por configuración de idioma-categoría.
   • Idiomas y Categorías: Los experimentos cubren seis idiomas (inglés, chino, bengalí, español, italiano, alemán) y cinco categorías figurativas (modismo, metáfora, símil, ironía, sarcasmo).

2. Intervención:

   • Durante la fase de prellenado (prefill) de la generación, el vector de dirección se añade al flujo residual en la posición del token de la capa seleccionada: $h^{(l)'}_t = h^{(l)}_t + \alpha \hat{v}^{(l)}_{g,c}$.
   • La fuerza de la intervención $\alpha$ se fija en 1.0.
   • Dirección Monolingüe: Los vectores se aplican a los prompts en el mismo idioma del que fueron derivados.
   • Transferencia Translingüe de Cero Disparos (Zero-Shot): Los vectores derivados de un idioma de origen (por ejemplo, chino) se aplican a prompts en un idioma objetivo diferente (por ejemplo, inglés) para probar su transferibilidad.

3. Intervenciones Geométricas:

   • Agregación de la Media de Idiomas: Los autores sintetizan una dirección translingüe central promediando los vectores normalizados de múltiples idiomas de origen (incluyendo y excluyendo el idioma objetivo, conocido como Leave-Target-Out o LTO).
   • Ablación Residual: Para probar si un núcleo geométrico compartido impulsa el comportamiento, la componente del vector nativo del idioma objetivo que se alinea con el agregado translingüe se elimina matemáticamente (se proyecta hacia fuera). Se evalúa entonces el rendimiento de este vector residual.

4. Evaluación:

   • Tasa de Categoría Objetivo (TCR): La proporción de continuaciones generadas que exhiben el fenómeno figurativo objetivo, evaluada mediante DeepSeek-v4-flash como un LLM-como-juez.
   • Coherencia: Una escala de 0 a 4 que califica la relevancia contextual y la consistencia lógica.
   • Análisis Estadístico: Se reportan diferencias de puntos porcentuales emparejadas con intervalos de confianza de bootstrap del 95% y valores $q$ de McNemar ajustados.

Contribuciones Clave

El artículo presenta tres contribuciones primarias:

1. Dirección Monolingüe Efectiva: En entornos monolingües, los vectores de dirección aumentan consistentemente la Tasa de Categoría Objetivo (TCR) en comparación con las líneas base no dirigidas y los controles de vectores aleatorios. Este efecto se observa en 74 de 9 96 configuraciones, con la mayor robustez para figuras retóricas estructurales como la metáfora y el símil.
2. Portabilidad Translingüe de Cero Disparos: Los vectores de idiomas de origen dirigen con éxito la generación en el idioma objetivo en 369 de 416 configuraciones de cero disparos. Notablemente, en varios casos, los vectores derivados de otros idiomas igualan o incluso superan el rendimiento de los vectores derivados directamente del idioma objetivo. El alemán se identifica como un objetivo particularmente receptivo, mientras que el bengalí muestra una fuerte capacidad de origen pero una receptividad débil.
3. Una Base Geométrica Compartida para la Transferencia:
   • Agregación: Los agregados translingües sintetizados (específicamente la media Leave-Target-Out) rivalizan o superan sistemáticamente a los vectores de dirección del idioma nativo.
   • Ablación: Eliminar la componente translingüe compartida de los vectores nativos (ablación residual) reduce drásticamente las capacidades de generación figurativa. Esto indica que la dirección transferible depende de un componente representacional común y reutilizable en lugar de artefactos específicos del idioma.

Resultados

• Dependencia de la Categoría: La transferibilidad de las señales de dirección varía significamente según la categoría. La metáfora y el símil exhiben la transferencia translingüe más robusta, con la metáfora mostrando una ganancia media de +17.2 puntos porcentuales a través de las rutas. En contraste, el sarcasmo y la ironía, que dependen fuertemente del contexto pragmático y el matiz cultural, muestran una transferencia más débil y son más resistentes a la dirección translingüe.
• Asimetría: La transferencia translingüe es asimétrica. Mientras que algunos idiomas (como el alemán) son altamente receptivos a las señales de dirección externas, otros (como el bengalí) son malos objetivos a pesar de ser fuentes potentes. Esto sugiere que la capacidad de recibir una señal figurativa está limitada por los sesgos generativos del idioma objetivo.
• Geometría vs. Rendimiento Nativo: Los vectores agregados "Leave-Target-Out" (LTO), construidos enteramente sin datos del idioma objetivo, logran TCRs funcionalmente comparables a los vectores nativos en la gran mayoría de los escenarios (85%–98% de las configuraciones probadas).
• Coherencia: Utilizar la geometría translingüe compartida no incurre en penalizaciones de coherencia adicionales en comparación con la dirección nativa. Sin embargo, ablar la señal compartida hace que el modelo regrese a su estado predeterminado altamente coherente y no dirigido, confirmando que la pérdida en la generación figurativa no se debe a la incoherencia, sino a la eliminación de la señal de dirección específica.

Significado y Reivindicaciones

El artículo afirma proporcionar evidencia directa de que los LLM multilingües organizan la intención figurativa compleja a través de una señal translingüe reutilizable pero dependiente del objetivo.

• Representación Compartida: Los hallazgos sugieren que los mecanismos internos para generar ciertos tipos de lenguaje figurativo (particularmente los estructurales como la metáfora) no están aislados a idiomas específicos, sino que están fundamentados en un núcleo geomético translingüe común y ajeno al idioma dentro del espacio de representación del modelo.
• Dependencia del Comportamiento: El estudio establece que, si bien la señal es reutilizable, la efectividad de aplicarla depende estrictamente de la capacidad generativa del idioma objetivo. El modelo puede organizar conceptualmente la intención figurativa a través de los idiomas, pero la proyección exitosa de esta intención está restringida por los sesgos aprendidos del idioma objetivo.
• Implicaciones para el Control: Estos resultados demuestran que la dirección translingüe es un mecanismo viable para controlar comportamientos finos en modelos multilingües, ofreciendo una base estructural para el alineamiento y el control que trasciende las fronteras de los idiomas individuales.

Los autores mantienen una postura modesta, señalando que sus hallazgos reflejan patrones de comportamiento observables bajo la disponibilidad de datos actual y que el desentrañamiento total de las representaciones específicas de cada categoría de la varianza de construcción sigue siendo una dirección importante para el trabajo futuro. También destacan las limitaciones relativas a la escasez de conjuntos de datos paralelos para ciertas categorías (por ejemplo, el símil) y los desafíos de evaluar categorías pragmáticas como el sarcasmo en entornos de continuación de oraciones.