Controlled Paraphrase Geometry in Sentence Embedding Space: Local Manifold Modeling and Latent Probing

1. Formulação do Problema

As incorporações de frases são onipresentes em PLN, mas a geometria local desses espaços — especificamente como variações semânticas controladas (paráfrases) são organizadas — permanece pouco compreendida.

• A Lacuna: Não está claro se frases semanticamente próximas formam clusters lineares simples (afins) ou variedades não lineares complexas e de baixa dimensão dentro do espaço de incorporação de alta dimensão.
• O Desafio: Métodos existentes para aumento de dados (por exemplo, interpolação linear, perturbação aleatória) frequentemente ignoram a estrutura geométrica subjacente da nuvem de incorporação, potencialmente gerando pontos que são geometricamente inconsistentes com o patch semântico local.
• O Objetivo: Modelar explicitamente a geometria local de classes semânticas controladas usando superfícies ajustadas de baixo grau e determinar se pontos latentes sintéticos gerados nessas superfícies preservam a validade geométrica, e se essa validade se traduz em utilidade discriminativa downstream.

2. Metodologia

O artigo propõe um procedimento de sondagem latente baseado em superfície que opera em três etapas principais:

A. Construção de Dados (CoPaGE-300K)

Para isolar a variabilidade semântica local do ruído de corpora naturais, os autores introduziram o CoPaGE-300K, um conjunto de dados controlado contendo mais de 300.000 variantes de frases.

• Estrutura: As frases são geradas a partir de três famílias de modelos (Institucional, Educacional, Médico) com 4 slots lexicais.
• Regimes: As variações vão desde mudanças de slot único (C1) até variações combinatórias completas de todos os quatro slots (C5), criando "nuvens de incorporação" controladas de complexidade variável.
• Incorporações: Todas as frases são codificadas usando sentence-transformers/all-mpnet-base-v2 (768 dimensões).

B. Modelagem Geométrica Local

A hipótese central é que essas nuvens residem em variedades não lineares de baixa dimensão.

1. Redução de Dimensionalidade: A nuvem de alta dimensão ($d=768$) é projetada em um espaço reduzido de PCA ($r \ll d$) preservando 90% da variância. Isso estabiliza o processo de ajuste. A dimensão $r$ é adaptativa (variando de 10 a 37 dependendo da complexidade).
2. Ajuste de Superfície: Os autores ajustam modelos algébricos explícitos à nuvem reduzida:
   • Afin (Linear): Linha de base.
   • Quádrico (Quadrático): $f(z) = z^T Q z + L^T z + C = 0$.
   • Cúbico: Usado para geometrias mais complexas.
   • Ajuste: Os parâmetros são estimados minimizando o resíduo algébrico da equação implícita.

C. Geração Latente Baseada em Superfície

Em vez de interpolação linear, novos pontos sintéticos são gerados por meio de um processo de duas etapas:

1. Inicialização Baricêntrica: Um ponto interno $v$ é criado como uma combinação convexa de pontos existentes da nuvem (amostrados via distribuição Dirichlet).
2. Projeção na Superfície: O ponto $v$ é projetado na superfície local ajustada usando um esquema iterativo do tipo Newton estabilizado para encontrar $z^*$ tal que $f(z^*) \approx 0$.
3. Reconstrução: O ponto é mapeado de volta para o espaço de incorporação original.

D. Métricas de Avaliação

O artigo distingue entre Validade Geométrica e Utilidade Discriminativa:

• Critérios de Validade Geométrica:
  • Consistência da Superfície: Distância residual à superfície ajustada.
  • Consistência do Vizinho: Sobreposição dos $k$-vizinhos mais próximos com os pontos originais.
  • Consistência da Distribuição: Distância de Mahalanobis à nuvem empírica.
  • Consistência da Forma Baseada em Hessiana: Estabilidade dos descritores de forma de segunda ordem (curvatura) após a adição de pontos sintéticos.
  • Consistência dos Coeficientes: Estabilidade dos coeficientes algébricos do modelo ajustado.
• Utilidade Discriminativa: Desempenho em uma tarefa downstream de classificação com poucos exemplos (Regressão Logística) com uma divisão context-held-out (testando em combinações de slots não vistas).

3. Contribuições Principais

1. Conjunto de Dados CoPaGE-300K: Um novo conjunto de dados controlado baseado em modelos com anotações ao nível de slot e incorporações pré-calculadas, projetado especificamente para estudar estruturas de variedades locais.
2. Modelagem Local Explícita: Um framework para aproximar patches semânticos locais usando superfícies ajustadas de baixo grau (quadráticas/cúbicas) no espaço reduzido de PCA, indo além de suposições lineares simples.
3. Geração Baseada em Superfície: Um método para gerar pontos latentes sintéticos que estão explicitamente alinhados com a geometria local ajustada, em vez de apenas interpolar linearmente.
4. Validade Geométrica vs. Utilidade Discriminativa: A introdução de um framework de avaliação rigoroso que separa a correção geométrica de pontos sintéticos de sua capacidade de melhorar o desempenho do classificador.
5. Critérios de Validade Geométrica: Um conjunto de métricas (incluindo consistência de forma baseada em Hessiana) para avaliar a estabilidade da estrutura da variedade local quando aumentada com dados sintéticos.

4. Resultados Experimentais

RQ1: Classes controladas formam variedades não lineares?

• Sim. Modelos não lineares (Quádrico e Cúbico) superam significativamente os modelos afins na aproximação das nuvens de incorporação locais.
• Evidência: Modelos quádricos reduziram o RMSE e o MAE em ordens de magnitude em comparação com modelos afins em todos os regimes. Modelos cúbicos ofereceram melhorias adicionais em regimes complexos (C5).
• Visualização: Projeções de PCA mostram estruturas curvilíneas claras que modelos lineares falham em capturar.

RQ2: Superfícies ajustadas podem gerar pontos geometricamente válidos?

• Sim, mas com compensações.
• Fidelidade à Geometria Ajustada: O método baseado em superfície alcançou resíduos de superfície próximos de zero e a maior estabilidade na forma baseada em Hessiana e nos coeficientes do modelo. Preservou melhor a estrutura analítica do patch local.
• Fidelidade à Densidade Empírica: Por outro lado, a perturbação aleatória local superou a geração baseada em superfície na preservação da densidade empírica e da estrutura de vizinhos mais próximos.
• Conclusão: A geração baseada em superfície é superior para manter a forma da variedade, enquanto a perturbação é melhor para manter a densidade da nuvem.

RQ3: A validade geométrica melhora a classificação downstream?

• Não. Este é um achado crítico.
• Resultado: Em tarefas de classificação com poucos exemplos e contexto-held-out, a adição de pontos sintéticos (seja linear, perturbado ou baseado em superfície) não melhorou sistematicamente a precisão ou as pontuações Macro-F1 em comparação com a linha de base (sem pontos sintéticos).
• Interpretação: A validade geométrica (estar na variedade) não garante utilidade discriminativa. Se o espaço de incorporação já contém invariâncias fortes, pontos sintéticos na variedade podem ser redundantes para o classificador e falhar em refinar o limite de decisão.

5. Significado e Implicações

• Reenquadramento do Aumento de Dados: O artigo argumenta que a validade geométrica e a utilidade discriminativa são propriedades distintas. Um ponto pode ser geometricamente perfeito, mas inútil para classificação. Isso desafia a suposição de que "melhor geometria" equivale automaticamente a "melhor desempenho".
• Ferramenta de Diagnóstico Offline: O método proposto é melhor visto como uma ferramenta de análise offline para sondar espaços de representação, entender vizinhanças semânticas locais e detectar anomalias, em vez de um impulsionador universal de classificadores "plug-and-play".
• Aplicações Futuras: A capacidade de modelar explicitamente a geometria local abre portas para:
  • Detecção de Fora de Distribuição (OOD).
  • Filtragem adversária.
  • Construção de exemplos positivos difíceis para aprendizado contrastivo.
  • Análise de alucinação e estimativa de incerteza.
• Rigor Metodológico: Ao usar modelos controlados, o estudo isola os efeitos geométricos da variação semântica, fornecendo uma imagem mais clara de como os modelos de incorporação codificam significado do que é possível com corpora naturais ruidosos.

Em resumo, o artigo estabelece que variações semânticas controladas induzem geometrias locais não lineares mensuráveis em espaços de incorporação de frases que podem ser modeladas explicitamente. Embora a geração baseada em superfície preserve com sucesso essa geometria, ela não se traduz automaticamente em melhoria na classificação downstream, destacando a necessidade de filtragem discriminativa ao usar dados sintéticos.