Role-Aware Neural Convex Divergence Heads for Asymmetric Representation Learning

Resumen Técnico: Cabezales de Divergencia Convexa Neuronal con Conciencia de Rol para el Aprendizaje de Representaciones Asimétricas

1. Planteamiento del Problema

Muchas tareas de aprendizaje de representaciones involucran relaciones dirigidas (asimétricas), tales como la implicación léxica (específico $\to$ general), la implicación de oraciones (premisa $\to$ hipótesis), jerarquías ontológicas (hijo $\to$ padre) y enlaces de citación (citando $\to$ citado). Las funciones de distancia estándar utilizadas en el aprendizaje métrico (euclídea, coseno, Mahalanobis) son inherentemente simétricas, por lo que no logran capturar la direccionalidad. Por el contrario, los evaluadores neuronales genéricos (por ejemplo, MLP sobre pares concatenados) pueden modelar la dirección, pero carecen de estructura geométrica, lo que suele producir puntuaciones ininterpretables que pueden violar las propiedades de no negatividad o convexidad. Los enfoques estructurados existentes, como los order embeddings o la geometría hiperbólica, son efectivos para jerarquías, pero suelen funcionar como modelos de incrustación (embedding) completos en lugar de cabezales de distancia flexibles y plug-in para codificadores arbitrarios.

El artículo aborda la brecha entre los evaluadores asimétricos no estructurados y los modelos geométricos rígidos planteando la siguiente pregunta: ¿Puede un cabezal asimétrico ser tanto neuronal como geométricamente estructurado?

2. Metodología

Los autores proponen el Cabezal de Divergencia Convexa Neuronal con Conciencia de Rol, un módulo plug-in diseñado para computar una puntuación no negativa y estructurada para pares ordenados $(x, y)$.

Componentes Principales:

• Proyecciones de Rol: Antes de computar la divergencia, las incrustaciones de entrada $x$ e $y$ se mapean en roles distintos de "fuente" y "objetivo" utilizando proyecciones lineales aprendibles $P_s$ y $P_t$.
  • $u = P_s x$ (Rol de fuente)
  • $v = P_t y$ (Rol de objetivo)
• Divergencia de Bregman Neuronal: El cabezal evalúa un potencial de Red Neuronal de Entrada Convexa (ICNN) $\phi_\theta$ para computar la divergencia de Bregman en el espacio proyectado:
  $$D_{\theta, P_s, P_t}(x, y) = D_{\phi_\theta}(P_s x, P_t y) = \phi_\theta(u) - \phi_\theta(v) - \nabla\phi_\theta(v)^\top(u - v)$$
• Restricciones ICNN: El potencial $\phi_\theta$ está parametrizado por una ICNN donde ciertos pesos se restringen para ser no negativos, asegurando la convexidad. Se añade un término cuadrático fuertemente convexo ($\lambda \|u\|^2_2$) para garantizar la estabilidad numérica y la convexidad estricta.
• Objetivo de Entrenamiento: El modelo se entrena utilizando una pérdida de clasificación de tipo triplete ($L_{rank}$) para asegurar que los pares dirigidos positivos tengan una divergencia menor que los pares negativos corruptos. Una pérdida de margen direccional secundaria ($L_{dir}$) fomenta que la dirección hacia adelante $D(x, y)$ sea menor que la reversa $D(y, x)$.

3. Contribuciones Clave

El artículo realiza tres contribuciones principales:

1. Propuesta Arquitectónica: Un novedoso cabezal plug-in que combina proyecciones específicas de rol con divergencias de Bregman neuronales. Permite que codificadores arbitrarios produzcan incrustaciones que se evalúan mediante una distancia asimétrica, no negativa y estructurada.
2. Caracterización Teórica:
   • Identidad del Espacio Proyectado: Los autores demuestran que el cabezal mantiene la no negatividad. Crucialmente, la condición de divergencia cero ($D=0$) ocurre cuando la proyección de la fuente del primer elemento es igual a la proyección del objetivo del segundo ($P_s x = P_t y$), en lugar de $x=y$. Esto se alinea con la distinción semántica de los roles de fuente y objetivo.
   • Descomposición de la Brecha Direccional: En el caso especial cuadrático, se demuestra que la brecha direccional $G(x, y) = D(x, y) - D(y, x)$ depende explícitamente de la diferencia entre las proyecciones fuente-objetivo y objetivo-fuente. Esto demuestra que la separación de roles es necesaria para la preferencia direccional.
   • Curvatura Local: El Hessiano del potencial proporciona un mecanismo para analizar la convexidad local, asegurando que la puntuación aprendida se comporte como una divergencia estructurada en lugar de una función de caja negra.
3. Evaluación Empírica Sistemática: El método se evalúa en cinco bancos de pruebas (HyperLex, WordNet, SICK, SNLI, Gene Ontology) y una prueba de estrés de citación a gran escala (OGBL-Citation2). El estudio compara el cabezal propuesto contra distancias simétricas, MLPs no estructurados, order embeddings y bases hiperbólicas e ICNN-Bregman simples (sin proyecciones de rol).

4. Resultados

• Precisión Direccional: A través de los conjuntos de datos semánticos y ontológicos, el cabezal con conciencia de rol supera consistentemente al cabezal ICNN-Bregman simple (sin proyecciones) en precisión de dirección. Por ejemplo, en HyperLex, la precisión de dirección mejoró de ~38% (simple) a ~90% (con conciencia de rol).
• Validez: El cabezal propuesto mantiene una tasa de divergencia negativa del 0%, mientras que los evaluadores bilineales no estructurados frecuentemente producen valores negativos.
• Estudios de Ablación: Eliminar las proyecciones de rol (usando proyecciones compartidas) causa que el modelo pierda la capacidad direccional, revirtiendo su rendimiento a uno similar al de la ICNN simple. Esto confirma que la separación de roles es el factor crítico para la asimetría, no solo la adición de parámetros.
• Compromisos (Trade-offs): Aumentar el peso del margen direccional mejora la precisión de la dirección, pero puede reducir ligeramente la precisión de clasificación (R-Acc) en algunos conjuntos de datos, lo que indica un compromiso entre distinguir la dirección y clasificar frente a los negativos.
• Limitaciones en Grafos de Gran Escala: En el conjunto de datos OGBL-Citation2 (características fijas, sin GNN), las bases simétricas o hiperbólicas especializadas superaron al cabezal propuesto en métricas de clasificación (MRR, Hits@K). Los autores señalan que la predicción de citas a gran escala puede requerir representaciones de entrada o codificadores de grafos más fuertes.

5. Significación y Reivindicaciones

El artículo posiciona al Cabezal de Divergencia Convexa Neuronal con Conciencia de Rol no como un reemplazo universal para todos los evaluadores, sino como un módulo plug-in estructurado e interpretable para tareas donde las relaciones dirigidas son centrales.

• Interpretabilidad: A diferencia de los MLP genéricos, este cabezal proporciona diagnósticos geométricos (brechas direccionales, trazas del Hessiano) que permiten a los usuarios auditar por qué se prefiere una dirección. El modelo aprende que ciertos conceptos (fuente) están cerca de conceptos generales (objetivo) en un espacio proyectado específico.
• Punto Medio: Une la brecha entre los modelos geométricos rígidos (que asumen estructuras de datos específicas) y los evaluadores neuronales flexibles (que carecen de garantías geométricas).
• Alcance Modesto: Los autores declaran explícitamente que el método es más adecuado para escenarios donde "la validez geométrica y la interpretación importan". Reconocen que los MLPs no estructurados o las bases geométricas especializadas pueden seguir superándolo en métricas de clasificación pura, particularmente cuando las incrustaciones de entrada ya codifican bien la tarea o cuando la evaluación premia la calidad del vecindario no dirigido.

En resumen, el trabajo demuestra que, al modelar explícitamente los roles de fuente y objetivo dentro de un marco de divergencia convexa, se puede lograr una discriminación direccional robusta preservando al mismo tiempo las propiedades matemáticas (no negatividad, convexidad) esenciales para un aprendizaje métrico fiable.