Role-Aware Neural Convex Divergence Heads for Asymmetric Representation Learning

Resumo Técnico: Cabeças de Divergência Convexa Neural com Consciência de Papel para Aprendizado de Representação Assimétrica

1. Declaração do Problema

Muitas tarefas de aprendizado de representação envolvem relações direcionadas (assimétricas), como em incorreção lexical (específico $\to$ geral), incorreção de sentenças (premissa $\to$ hipótese), hierarquias de ontologias (filho $\to$ pai) e links de citação (citando $\to$ citado). Funções de distância padrão usadas em aprendizado métrico (Euclidiana, cosseno, Mahalanobis) são inerentemente simétricas, falhando em capturar a direcionalidade. Por outro lado, pontuadores neurais genéricos (ex: MLPs sobre pares concatenados) podem modelar a direção, mas carecem de estrutura geométrica, frequentemente produzindo pontuações ininterpretáveis que podem violar propriedades de não-negatividade ou convexidade. Abordagens estruturadas existentes, como order embeddings ou geometria hiperbólica, são eficazes para hierarquias, mas frequentemente funcionam como modelos de incorporação (embedding) completos, em vez de cabeças de distância flexíveis e plug-ins para codificadores arbitrários.

O artigo aborda a lacuna entre pontuadores assimétricos não estruturados e modelos geométricos rígidos ao perguntar: Pode uma cabeça assimétrica ser tanto neural quanto geometricamente estruturada?

2. Metodologia

Os autores propõem a Cabeça de Divergência Convexa Neural com Consciência de Papel (Role-Aware Neural Convex Divergence Head), um módulo plug-in projetado para computar uma pontuação não negativa e estruturada para pares ordenados $(x, y)$.

Componentes Principais:

• Projeções de Papel (Role Projections): Antes de computar a divergência, os embeddings de entrada $x$ e $y$ são mapeados em papéis distintos de "fonte" e "alvo" usando projeções lineares aprendíveis $P_s$ e $P_t$.
  • $u = P_s x$ (Papel de fonte)
  • $v = P_t y$ (Papel de alvo)
• Divergência de Bregman Neural: A cabeça avalia um potencial de Rede Neural de Entrada-Convexa (ICNN) $\phi_\theta$ para computar a divergência de Bregman no espaço projetado:
  $$D_{\theta, P_s, P_t}(x, y) = D_{\phi_\theta}(P_s x, P_t y) = \phi_\theta(u) - \phi_\theta(v) - \nabla\phi_\theta(v)^\top(u - v)$$
• Restrições ICNN: O potencial $\phi_\theta$ é parametrizado por uma ICNN onde pesos específicos são restritos a serem não negativos, garantindo a convexidade. Um termo quadrático fortemente convexo ($\lambda \|u\|^2_2$) é adicionado para garantir estabilidade numérica e convexidade estrita.
• Objetivo de Treinamento: O modelo é treinado usando uma perda de ranking de estilo triplet ($L_{rank}$) para garantir que pares direcionados positivos tenham menor divergência do que pares negativos corrompidos. Uma perda de margem direcional secundária ($L_{dir}$) incentiva a direção direta $D(x, y)$ a ser menor que a direção reversa $D(y, x)$.

3. Principais Contribuições

O artigo apresenta três contribuições primárias:

1. Proposta Arquitetônica: Uma nova cabeça plug-in que combina projeções específicas de papel com divergências de Bregman neurais. Ela permite que codificadores arbitrários gerem embeddings que são pontuados via uma distância assimétrica, não negativa e estruturada.
2. Caracterização Teórica:
   • Identidade no Espaço Projetado: Os autores provam que a cabeça mantém a não-negatividade. Crucialmente, a condição de divergência zero ($D=0$) ocorre quando a projeção de fonte do primeiro item é igual à projeção de alvo do segundo ($P_s x = P_t y$), em vez de $x=y$. Isso se alinha com a distinção semântica dos papéis de fonte e alvo.
   • Decomposição do Gap Direcional: No caso quadrático especial, o gap direcional $G(x, y) = D(x, y) - D(y, x)$ é mostrado como dependente explicitamente da diferença entre as projeções fonte-alvo e alvo-fonte. Isso demonstra que a separação de papéis é necessária para a preferência direcional.
   • Curvatura Local: O Hessiano do potencial fornece um mecanismo para analisar a convexidade local, garantindo que a pontuação aprendida se comporte como uma divergência estruturada em vez de uma função de caixa-preta.
3. Avaliação Empírica Sistemática: O método é avaliado em cinco benchmarks (HyperLex, WordNet, SICK, SNLI, Gene Ontology) e um teste de estresse de larga escala de citações (OGBL-Citation2). O estudo compara a cabeça proposta contra distâncias simétricas, MLPs não estruturadas, order embeddings e baselines hiperbólicos e ICNN-Bregman simples (sem projeções de papel).

4. Resultados

• Precisão Direcional: Nos conjuntos de dados semânticos e de ontologia, a cabeça com consciência de papel supera consistentemente a cabeça ICNN-Bregman simples (sem projeções) em precisão direcional. Por exemplo, no HyperLex, a precisão direcional melhorou de ~38% (simples) para ~90% (com consciência de papel).
• Validade: A cabeça proposta mantém uma taxa de divergência negativa de 0%, enquanto pontuadores bilineares não estruturados frequentemente produzem valores negativos.
• Estudos de Ablação: Remover as projeções de papel (usando projeções compartilhadas) faz com que o modelo perca a capacidade direcional, revertendo para um desempenho semelhante ao ICNN simples. Isso confirma que a separação de papéis é o fator crítico para a assimetria, não apenas a adição de parâmetros.
• Compromissos (Trade-offs): Aumentar o peso da margem direcional melhora a precisão direcional, mas pode reduzir ligeiramente a precisão de ranking (R-Acc) em alguns conjuntos de dados, indicando um compromisso entre distinguir a direção e o ranking contra negativos.
• Limitações em Grafos de Larga Escala: No conjunto de dados OGBL-Citation2 (características fixas, sem GNN), baselines simétricos ou hiperbólicos especializados superaram a cabeça proposta em métricas de ranking (MRR, Hits@K). Os autores observam que a previsão de citações em larga escala pode exigir representações de entrada ou codificadores de grafos mais fortes.

5. Significância e Alegações

O artigo posiciona a Cabeça de Divergência Convexa Neural com Consciência de Papel não como um substituto universal para todos os pontuadores, mas como um módulo plug-in estruturado e interpretável para tarefas onde relações direcionadas são centrais.

• Interpretabilidade: Ao contrário de MLPs genéricas, esta cabeça fornece diagnósticos geométricos (gaps direcionais, traços de Hessiano) que permitem aos usuários auditar por que uma direção é preferida. O modelo aprende que conceitos específicos (fonte) estão próximos de conceitos gerais (alvo) em um espaço projetado específico.
• Meio Termo: Ele preenche a lacuna entre modelos geométricos rígidos (que assumem estruturas de dados específicas) e pontuadores neurais flexíveis (que carecem de garantias geométricas).
• Escopo Modesto: Os autores afirmam explicitamente que o método é mais adequado para cenários onde a "validade geométrica e a interpretação importam". Eles reconhecem que MLPs não estruturadas ou baselines geométricos especializados podem ainda superar o método em métricas de ranking puras, particularmente quando os embeddings de entrada já codificam bem a tarefa ou quando a avaliação recompensa a qualidade do vizinho não direcionado.

Em resumo, o trabalho demonstra que, ao modelar explicitamente os papéis de fonte e alvo dentro de uma estrutura de divergência convexa, é possível alcançar uma discriminação direcional robusta preservando as propriedades matemáticas (não-negatividade, convexidade) essenciais para um aprendizado métrico confiável.