iBERT: Interpretable Embeddings via Sense Decomposition

Resumen Técnico: iBERT: Embeddings Interpretables mediante la Descomposición de Sentidos

Planteamiento del Problema
Los codificadores neuronales actuales, como SBERT y SimCSE, producen representaciones de vectores densos que sobresalen en la recuperación semántica, pero carecen de transparencia. Estos modelos no ofrecen un mecanismo claro para controlar o interpretar cómo se codifican el estilo y el significado, lo que limita su fiabilidad en dominios que requieren transparencia representacional, como la verificación de autoría, la generación con control de tono y la moderación estilística. Los métodos de interpretabilidad existentes suelen ser post-hoc (por ejemplo, sondeos o mapas de saliencia) y se aplican a representaciones que no fueron diseñadas para la interpretabilidad, lo que genera explicaciones incompletas o infieles. Además, el aprendizaje previo de representaciones estilísticas suele depender de una supervisión indirecta (por ejemplo, la identidad del autor), lo que resulta en embeddings entrelazados donde el contenido y el estilo están inextricablemente mezclados. El artículo plantea: ¿Podemos diseñar un codificador donde las representaciones semánticas y estilísticas sean explícitas y controlables dentro del espacio de embedding por diseño, en lugar de mediante un análisis post-hoc?

Metodología
Los autores proponen iBERT (interpretable-BERT), una arquitectura de codificador diseñada para producir embeddings inherentemente interpretables y controlables.

• Arquitectura: iBERT codifica cada token de entrada como una mezcla dispersa y no negativa sobre $k$ vectores de sentido independientes del contexto. A diferencia de los embeddings densos estándar, el modelo descompone las representaciones de los tokens en $k$ "sentidos" distintos (por ejemplo, $k=8$ en los experimentos).
  • Codificación de Tokens: Un token $x_i$ se mapea a un embedding estándar y luego se proyecta en $k$ sentidos. Un codificador Transformer produce estados contextuales, que se proyectan en consultas (queries) y claves (keys) específicas de cada sentido para calcular los pesos de la mezcla ($\alpha_{\ell,i,j}$). La representación final del token $o_i$ es una mezcla convexa de estos vectores de sentido independientes del contexto.
  • Agrupación de Oraciones (Sentence Pooling): Para generar los embeddings de las oraciones, el modelo aplica una agrupación estructurada sobre las activaciones de sentido a nivel de token. El artículo define tres variantes:
    • iBERT-v1 (Mean Pooling): Promedio uniforme de todas las representaciones de los tokens.
    • iBERT-v2 (Top-Sense Pooling): Identifica el sentido dominante para una secuencia y retiene únicamente ese sentido en todos los tokens (selección estricta o hard selection).
    • iBERT-v3 (Softmax Blend): Interpola entre v1 y v2 utilizando un parámetro de temperatura $\tau$ para controlar la nitidez de la selección del sentido (mezcla suave o soft blending).
• Pipeline de Entrenamiento:
  • Etapa 0 (Preentrenamiento MLM): iBERT es preentrenado desde cero en el 5% del corpus FineWeb (750 mil millones de tokens) utilizando Modelado de Lenguaje Enmascarado (MLM) para instanciar vectores de sentido significativos. Esto genera un codificador de 171 millones de parámetros.
  • Etapa 1 (Aprendizaje de Representación de Estilo): El modelo se ajusta (fine-tuning) utilizando tripletes contrastivos ($\langle s, s^+, s^- \rangle$) dirigidos a la variación estilística. Los datos de entrenamiento incluyen tripletes sintéticos de StyleSynth (Patel et al., 2025) con variación léxica/sintáctica controlada y tripletes etiquetados por autor de Wegmann et al. (2022). Se utiliza la pérdida InfoNCE para fomentar la cercanía entre entradas estilísticamente similares mientras se alejan las disímiles.
• Líneas Base (Baselines): Para asegurar una comparación justa, los autores entrenan un modelo BERT-base estándar desde cero con los mismos datos y lo ajustan con los mismos objetivos contrastivos (creando BERT-SD, BERT-WG y BERT-WG+SD) para servir como líneas base densas.

Contribuciones Clave

1. Arquitectura iBERT: La introducción de un codificador con representaciones controlables y descomponibles que producen embeddings de token y de oración interpretables por diseño.
2. Rendimiento: Demostración de un sólido rendimiento a través de tres evaluaciones (STEL, SoC y PAN), logrando hasta un +8% de ganancia en la Efectividad de la Representación de Estilo (STEL) sobre las líneas base densas, manteniendo un rendimiento competitivo en la verificación de autoría.
3. Interpretabilidad Novedosa: La capacidad de sondear los vectores de sentido para rasgos estilísticos específicos, realizar ablaciones de sentidos para identificar la atribución y editar los embeddings para la transferencia de estilo controlada. El artículo destaca que atributos de estilo específicos (por ejemplo, el uso de emojis, el sarcasmo, las elecciones léxicas) se asignan a vectores de sentido específicos.

Resultados

• STEL (Efectividad de la Representación de Estilo): Los modelos iBERT superan significativamente a los modelos base de BERT. Bajo supervisión de estilo directa (StyleSynth), iBERT-v3-1 alcanzó un 38.3% de STEL (128 tokens), una ganancia de +6.7 puntos sobre la línea base de BERT. Las variantes de iBERT-v3 (mezcla suave) generalmente superaron a la selección estricta de iBERT-v2, lo que sugiere que la ponderación suave de los sentidos cierra la brecha entre la mezcla uniforme y la dispersión estricta.
• SoC (Estilo-o-Contenido): iBERT-v3-1 logró la mayor separabilidad de la polaridad estilística (92.8% de precisión), demostrando que el modelo puede preservar la sensibilidad de la polaridad manteniendo la interpretabilidad.
• PAN (Verificación de Autoría): Como tarea de estilo por proximidad, las variantes de iBERT igualaron o superaron ligeramente a BERT en entradas de 128 tokens. Sin embargo, en entradas de 512 tokens, BERT superó ligeramente a iBERT (61.92% frente a 61.07%), probablemente porque el acoplamiento estrecho de BERT entre características semánticas y estilísticas se beneficia más de un contexto extendido. iBERT mantuvo un rendimiento competitivo incluso cuando la supervisión era ruidosa (solo identidad del autor), aunque sufrió más que BERT cuando el estilo y el contenido estaban fuertemente entrelazados sin etiquetas de estilo explícitas.
• Análisis de Interpretabilidad: Los sondeos revelaron que los sentidos individuales se especializan en distintos grupos estilísticos (por ejemplo, el Sentido $\ell=2$ se alinea con el tono afectivo como el sarcasmo; $\ell=0$ con marcadores superficiales como los emojis). Los estudios de ablación confirmaron que eliminar un sentido alineado con el estilo reducía drásticamente la separabilidad de ese estilo específico (hasta una reducción de distancia del 66%) con un efecto mínimo en estilos no relacionados, validando la localidad de las ediciones.

Significado y Reivindicaciones
El artículo afirma que iBERT representa un cambio de la interpretabilidad post-hoc hacia una interpretabilidad arquitectónicamente fundamentada. Por diseño, iBERT descompone las señales discriminativas (ya sean semánticas o estilísticas) en vectores de sentido modulares.

• Modularidad: El modelo permite ediciones dirigidas en el espacio de embedding (por ejemplo, cambiar la formalidad o eliminar emojis) sin alterar atributos no relacionados, una tarea difícil en los codificadores densos.
• Generalización: Aunque se evaluó en tareas estilísticas, iBERT no se limita al modelado de estilo. Su modularidad estructural está diseñada para descomponer de forma interpretable cualesquiera señales discriminativas presentes en los datos, permitiendo la generalización incluso cuando la supervisión mezcla factores semánticos y estilísticos.
• Compromisos (Trade-offs): Los autores reconocen un compromiso: la estructura modular puede derivar en ligeras brechas de rendimiento en comparación con los codificadores densos en tareas que requieren una integración contextual profunda (por ejemplo, deriva semántica de largo formato). Además, la especialización de los sentidos es sensible a la longitud de la secuencia, y el trabajo actual se centra en el inglés.

Los autores concluyen que iBERT ofrece un paso hacia los modelos de embedding que no solo son potentes, sino inherentemente comprensibles, sirviendo como un componente viable para procesos de NLP transparentes y modulares.