Toward a Functional Geometric Algebra for Natural Language Semantics

1. Declaração do Problema

As abordagens distribucionais e neurais atuais para Semântica de Linguagem Natural (NLP) dependem quase exclusivamente de Álgebra Linear (AL) Convencional (vetores, matrizes, tensores). Embora bem-sucedidas na captura de similaridade lexical, esses modelos enfrentam limitações estruturais persistentes na semântica composicional:

• Composição Fracamente Estruturada: Operações como adição de vetores ou multiplicações matriciais aprendidas não codificam intrinsecamente como as palavras se combinam (por exemplo, sujeito-verbo versus adjetivo-substantivo). O modo composicional deve ser inteiramente induzido a partir dos dados.
• Inflação de Parâmetros: Modelar interações de ordem superior (relações ternárias, estruturas de eventos) requer redes profundas ou parâmetros massivos de tensores, pois a estrutura de interação é implícita nos pesos, em vez de explícita na álgebra.
• Falta de Tipos Intrínsecos: A linguagem natural é fundamentalmente tipada (entidades, predicados, proposições). A AL não fornece nenhum mecanismo nativo para distinguir esses tipos; eles são distinguidos apenas por convenção ou arquitetura externa.
• Lacuna Simbólico-Geométrica: A ponte entre semântica simbólica formal (lógica, ligação, inferência) e modelos distribucionais contínuos permanece difícil dentro da AL padrão.

2. Metodologia: Álgebra Geométrica Funcional (FGA)

O artigo propõe a Álgebra Geométrica Funcional (FGA), um framework baseado em Álgebras de Clifford ($Cl(V, Q)$), para substituir ou ampliar a semântica algébrica linear.

Fundamentos Matemáticos Centrais

• O Produto Geométrico: Diferentemente do produto escalar (que produz uma similaridade escalar), o produto geométrico $ab$ de dois vetores decompõe-se em um escalar (produto interno, similaridade) e um bivetor (produto externo, plano/orientação/relação). Isso unifica similaridade e estrutura relacional em uma única operação.
• Estrutura Graduada (Tipos): Um multivetor $M$ é uma soma de componentes de diferentes "graus" ($k$-vetores).
  • Grau 0: Escalares (Valores de verdade).
  • Grau 1: Vetores (Entidades, predicados unários).
  • Grau 2: Bivetores (Relações binárias, ligações de papéis).
  • Grau $k$: $k$-vetores (relações $n$-árias, quadros de eventos).
  • Isso fornece um sistema de tipos intrínseco onde operações algébricas impõem naturalmente restrições de tipo.
• Operações Chave:
  • Contração ($\lrcorner, \llcorner$): Reduz o grau. Usada para aplicação de função (por exemplo, aplicar um predicado a um argumento). Contração esquerda e direita são distintas, codificando a ordem dos argumentos (sujeito versus objeto).
  • Produto Externo ($\wedge$): Aumenta o grau. Usado para ligação de preenchimento de papel e construção de estruturas de eventos. É antissimétrico ($a \wedge b = -b \wedge a$), codificando naturalmente a direcionalidade.
  • Sanduíche de Rotor ($Rx\tilde{R}$): Uma transformação que preserva o grau, preserva a norma e é invertível. Usada para coerção de tipo e modulação contextual (por exemplo, rotacionar "livro" em direção a "ler" em "começar o livro").

A Arquitetura de Três Camadas

A FGA organiza o processamento semântico em três camadas usando o mesmo substrato algébrico:

1. Camada 1 (Condicional de Verdade): Usa contração para avaliar predicados contra argumentos, produzindo escalares (valores de verdade).
2. Camada 2 (Estrutura de Eventos): Usa o produto externo para ligar papéis temáticos (Agente, Tema) a entidades, criando representações de eventos estruturadas (multivetores) que permitem a recuperação exata dos participantes.
3. Camada 3 (Aplicação Interna): Usa rotores para realizar Aplicação Interna (AI). Em vez de tratar argumentos como wholes indiferenciados (Aplicação Externa), os predicados sondam a estrutura interna dos argumentos (por exemplo, acessando o quales telico de um "livro" para interpretar "começar").

3. Contribuições Principais

A. Unificação Algébrica da Semântica

A FGA unifica operações que são separadas em outros frameworks:

• Similaridade (produto interno) e Ligação (produto externo) são componentes do único produto geométrico.
• Coerção de Tipo é modelada como uma rotação geométrica (rotor), tornando-a explícita e invertível, ao contrário das mudanças contextuais opacas nos embeddings de Transformers.

B. Resolução de Fenômenos Linguísticos Específicos

O artigo demonstra como a FGA lida com casos onde a Álgebra Linear falha:

• Modificação Subseletiva: "Faca boa" versus "Livro bom". Na FGA, o adjetivo "bom" é um vetor rotacionado pelo rotor de quales do substantivo (por exemplo, telico para "faca" $\to$ qualidade de corte; telico para "livro" $\to$ qualidade de leitura).
• Coerção de Complemento: "Abrir um livro" (inceptivo/leitura) versus "Abrir uma porta" (mudança de estado). O verbo "abrir" interage com a estrutura de quales do objeto via um rotor para alterar o tipo de evento.
• Desligamento Exato: Ao contrário das Representações Reduzidas Holográficas (HRR), que sofrem com acúmulo de ruído, a FGA permite a recuperação exata de papéis e preenchimentos via contração com o vetor inverso ($r^{-1} \lrcorner (r \wedge f) = f$).

C. Eficiência de Parâmetros e Estrutura

• Interações Estruturadas de Ordem Superior: Enquanto um espaço vetorial plano requer $O(n^k)$ parâmetros para relações $k$-árias, a estrutura graduada da álgebra de Clifford organiza essas interações em $\binom{n}{k}$ componentes. As restrições algébricas (antissimetria) eliminam graus de liberdade redundantes, fornecendo estrutura de ordem superior "gratuita".
• Viés Indutivo: A estrutura de grau atua como um forte viés indutivo, restringindo o espaço de aprendizado a composições bem tipadas, potencialmente melhorando a generalização com menos dados.

D. Conexão com Arquiteturas Neurais

O artigo argumenta que operações-chave de GA já são implícitas em sistemas modernos:

• Embeddings de Posição Rotativos (RoPE): Usados em LLaMA e GPT, estes são matematicamente equivalentes a rotores em um plano 2D restrito.
• Atenção Multi-cabeça: Paralela à decomposição de um espaço em diferentes graus/orientações.
• Implementações Existentes: Cita GATr (Geometric Algebra Transformer), Versor e CliffordNet como prova de que redes neurais baseadas em multivetores são escaláveis e eficientes.

4. Resultados e Evidências

• Derivação Teórica: O artigo fornece derivações formais para entradas lexicais, aplicação de predicados e construção de eventos, mostrando que a FGA produz naturalmente as reduções de tipo corretas (por exemplo, $Cl_2 \times Cl_1 \to Cl_1$).
• Análise Comparativa: A FGA é comparada a DisCoCat (contração de tensores), Lógica de Composição de Tipos e Arquiteturas de Símbolos Vetoriais (VSA). A FGA mostra-se superior no manuseio de desligamento exato, ordem de argumentos (via contração assimétrica) e coerção de tipo sem maquinaria categórica externa.
• Contexto Empírico: Embora o artigo foque em fundamentos formais, ele aproveita resultados empíricos recentes da comunidade de ML (GATr, Versor) mostrando que arquiteturas de álgebra geométrica alcançam desempenho de ponta com menos parâmetros e melhor generalização em tarefas físicas e sequenciais.

5. Significado e Direções Futuras

• Ponte da Lacuna: A FGA oferece um framework unificado que conecta semântica formal (lógica, tipos, composicionalidade) e semântica distribucional (vetores contínuos, aprendizado).
• Interpretabilidade: Ao tornar operações como coerção (rotores) e ligação (produtos externos) explícitas, a FGA promete modelos mais interpretáveis do que Transformers de "caixa preta".
• Caminho de Implementação Neural: O artigo traça um caminho realista para implementação:
  1. Aprendizado de embeddings de multivetores truncados por grau.
  2. Uso de contração e produtos externos para tarefas composicionais.
  3. Substituição da atenção padrão por interações geométricas sensíveis ao grau.
  4. Aprendizado da assinatura da forma quadrática (métrica) a partir dos dados.

Conclusão:
O artigo argumenta que as limitações dos modelos atuais de NLP não são apenas uma questão de escala, mas de substrato algébrico. Ao migrar da Álgebra Linear para a Álgebra Geométrica, a FGA fornece um framework matematicamente principiado, sensível a tipos e composicional, que codifica naturalmente as complexidades estruturais da linguagem humana, oferecendo um caminho para modelos semânticos mais robustos, interpretáveis e eficientes em dados.