Resumo Técnico: Representações Hierárquicas e Composicionais Nativas com Embeddings de Subespaço

Declaração do Problema

Os tradicionais embeddings de vetores densos, que representam conceitos como pontos únicos em um espaço euclidiano, enfrentam limitações geométricas fundamentais ao modelar a linguagem natural. Embora eficazes para capturar similaridade via produtos internos, a estrutura plana e simétrica do espaço euclidiano é inadequada para relações hierárquicas e assimétricas, como a implicação e a hiponímia. Métricas padrão como a similaridade de cosseno não conseguem distinguir relações direcionais (ex: "cachorro" implica "animal", mas "animal" não implica "cachorro"). Além disso, os espaços vetoriais carecem de operadores nativos para conjunção lógica, disjunção e negação. Consequentemente, os modelos frequentemente recorrem à composição aditiva (tratando frases como sacos de palavras), levando à "cegueira de negação", onde os embeddings falam em excluir conceitos, degradando o desempenho em consultas envolvendo negação lógica. Alternativas existentes, como embeddings hiperbólicos ou modelos probabilísticos baseados em regiões (ex: caixas, cones), ou impõem priors estruturais rígidos, ou carecem de fechamento sob todas as operações lógicas, ou sacrificam a compatibilidade com pipelines eficientes de recuperação euclidiana.

Metodologia

Os autores propõem os Embeddings de Subespaço, um framework onde conceitos são representados não como pontos, mas como subespaços lineares (regiões) dentro de um espaço de alta dimensão $\mathbb{R}^d$.

Princípios Geométricos Fundamentais

1. Representação: Um conceito é definido como o span de um conjunto de vetores de base latentes $\mathbf{X} \in \mathbb{R}^{d \times n}$. O subespaço $\mathcal{S}$ é representado por seu operador de projeção ortogonal $\mathbf{P} = \mathbf{U}\mathbf{U}^\top$, onde $\mathbf{U}$ é uma base ortonormal.
2. Hierarquia e Generalidade:
   • Dimensionalidade: A dimensão efetiva (rank) do subespaço codifica a generalidade semântica. Conceitos mais amplos (ex: "animal") ocupam subespaços de maior dimensão, enquanto conceitos específicos (ex: "cachorro") ocupam subespaços de menor dimensão aninhados dentro deles.
   • Inclusão: A hierarquia é modelada via inclusão de subespaço ($\mathcal{S}_A \subseteq \mathcal{S}_B$), quantificada por um Score de Inclusão Normalizado (NIS) derivado do traço do produto das matrizes de projeção.
3. Operações Lógicas: Relações lógicas mapeiam diretamente para operações de álgebra linear sobre subespaços:
   • Conjunção ($\land$): Interseção de subespaços ($\mathcal{S}_A \cap \mathcal{S}_B$).
   • Disjunção ($\lor$): Soma linear (span) de subespaços ($\mathcal{S}_A + \mathcal{S}_B$).
   • Negação ($\neg$): Complemento ortogonal ($\mathcal{S}^\perp$).

Implementação Técnica: Subespaços Diferenciáveis

Um desafio primário é que o rank do subespaço é discreto e não diferenciável. Para permitir o treinamento end-to-end, os autores introduzem Operadores de Projeção Suave:

• Projetor Suave: Em vez de uma projeção rígida, eles definem um projetor suave $\tilde{\mathbf{P}}$ usando regularização de Tikhonov: $\tilde{\mathbf{P}} = \mathbf{X}(\mathbf{X}^\top\mathbf{X} + \lambda\mathbf{I})^{-1}\mathbf{X}^\top$.
• Diferenciabilidade: O hiperparâmetro $\lambda$ atua como uma temperatura, suavizando os autovalores do projetor para o intervalo $[0, 1)$. Isso permite que o modelo aprenda a dimensionalidade efetiva de cada subespaço via gradiente descendente, permitendo que o subespaço "adicione ou remova" vetores de base dinamicamente.
• Cabeça de Projeção de Subespaço (SPH): Um módulo neural que converte estados ocultos de transformers em um conjunto de vetores latentes que formam um subespaço. Ele utiliza Atenção de Múltiplas Cabeças (MHA) para pooling, um MLP para expansão de rank (quebrando dependências lineares para atingir rank total) e o cálculo do projetor suave.

Estratégia de Treinamento

O framework é treinado end-to-end usando objetivos padrão:

• Reconstrução Hierárquica: Perda InfoNCE sobre similaridade de subespaço.
• Predição de Link: Perda de margem sobre o Score de Inclusão Normalizado (NIS).
• Inferência de Linguagem Natural (NLI): Uma abordagem híbrida que modela implicação/contradição via uma distribuição Beta sobre os scores de NIS e neutralidade via um classificador MLP.

Principais Contribuições

1. Aprendizado de Subespaço Diferenciável: Um método inovador para aprender representações de linguagem como subespaços lineares com dimensionalidade dependente de dados e aprendível, superando a não-diferenciabilidade do rank discreto.
2. Estrutura Composicional Emergente: Demonstração de que operações lógicas (conjunção, disjunção, negação) surgem naturalmente da geometria das representações sem supervisão explícita para regras lógicas.
3. Escalabilidade e Compatibilidade: A abordagem preserva a compatibilidade com pipelines padrão de busca vetorial euclidiana (Busca de Produto Interno Máximo - MIPS), permitindo a recuperação eficiente em larga escala, ao contrário de alternativas não-euclidianas.

Resultados Experimentais

Os autores validam o framework em três eixos:

1. Modelagem Hierárquica (WordNet):

   • Reconstrução: Os embeddings de subespaço (SE) alcançam o estado da arte na reconstrução do WordNet, superando baselines euclidianos (R128) e hiperbólicos (Poincaré P10, Lorentz H10) em Precisão Média (mAP) e Rank Médio (MR).
   • Correlação de Especificidade: O rank efetivo aprendido de um subespaço mostra uma forte correlação de Spearman ($\rho \approx 0.68$) com o rank taxonômico do conceito, confirmando que a dimensionalidade atua como uma medida emergente de especificidade semântica.
   • Predição de Link: Modelos SE superam significativamente os baselines em cenários de supervisão esparsa (0%–25% de cobertura de arestas), alcançando F1 scores de até 95.9%.

2. Inferência de Linguagem Natural (SNLI):

   • Embeddings de subespaço igualam ou superam levemente o desempenho de fortes baselines de bi-encoder (ex: all-MiniLM-L6-v2, mpnet-base-v2) em tarefas padrão de classificação de implicação 2-way e 3-way.

3. Implicação Composicional (Zero-Shot):

   • Tratamento de Negação: Esta é a descoberta mais crítica. Baselines vetoriais padrão degradam para um desempenho próximo ao aleatório (49–69% AUC) em hipóteses que envolvem negação. Em contraste, os embeddings de subespaço mantêm alto poder discriminativo (>90% AUC) em consultas negadas sem treinamento explícito em lógica de negação.
   • Comparação: Subespaços superam os Box Embeddings em tarefas de negação, pois o complemento de uma caixa não é uma caixa, enquanto o complemento ortogonal de um subespaço é um subespaço válido dentro do mesmo espaço.

4. Eficiência:

   • Velocidade de Recuperação: Ao formular o score de inclusão como um produto escalar entre matrizes de projeção vetorizadas, o método permite o uso de bibliotecas de busca aproximada rápida (ex: FAISS). O SE128 é quase 8x mais rápido que um baseline Poincaré de 10 dimensões usando busca de força bruta.
   • Compressão: Os subespaços aprendidos exibem um rápido decaimento espectral, permitindo compressão de 4x via SVD truncada com perda de desempenho negligível.

Significância e Alegações

O artigo afirma que os embeddings de subespaço oferecem um modelo geometricamente fundamentado de implicação que reconcilia a eficiência da recuperação vetorial com a estrutura hierárquica e composicional da linguagem.

• Lógica Nativa: Diferente de métodos anteriores que exigem soluções ad-hoc ou falham na negação, os embeddings de subespaço capturam nativamente a composição lógica através de operações de álgebra linear.
• Interpretabilidade: A dimensão efetiva de um subespaço serve como uma medida interpretável de conteúdo de informação e especificidade semântica, emergindo diretamente da geometria de treinamento.
• Praticidade: O framework não sacrifica a escalabilidade; permanece compatível com a infraestrutura de busca euclidiana padrão, tornando-o viável para aplicações de larga escala.

Os autores concluem que esta abordagem fornece um caminho promissor para sistemas de aprendizado de representação mais expressivos e interpretáveis, particularmente para tarefas que exigem raciocínio sobre conceitos hierárquicos e negados.