CONE: Embeddings for Complex Numerical Data Preserving Unit and Variable Semantics

O artigo apresenta o CONE, um modelo híbrido pré-treinado que utiliza um algoritmo inovador de embeddings compostos para codificar números, intervalos e gaussianas junto com suas unidades e atributos, preservando semântica e distância e demonstrando capacidades superiores de raciocínio numérico em diversos domínios.

O essencial

Imagine que você tem um tradutor muito inteligente, capaz de entender poemas, piadas e histórias complexas. Esse é o modelo de linguagem (como o BERT ou BioBERT) que já existe hoje. Ele é ótimo com palavras.

Mas, e quando você pede para ele entender números? O problema é que esses tradutores tratam números quase como se fossem apenas mais uma palavra. Se você disser "5 quilômetros" e "5 quilos", para eles, o "5" é a mesma coisa, e a diferença entre distância e peso é apenas um detalhe pequeno que eles muitas vezes ignoram. É como se alguém dissesse: "Ah, 'cinco maçãs' e 'cinco horas' são a mesma coisa porque o número cinco é igual". Isso gera confusão.

Aqui entra o CONE (o modelo proposto neste artigo). Vamos explicar como ele funciona usando algumas analogias simples:

1. O Problema: O Tradutor Cego

Imagine que você está em uma sala cheia de pessoas.

• O Modelo Antigo (BioBERT): Ele olha para um número e vê apenas um "rótulo". Se ele vê "30" na coluna "Idade" e "30" na coluna "Temperatura", ele pensa: "São a mesma coisa!". Ele não entende que 30 anos de vida é muito diferente de 30 graus de calor. Ele é "cego" para o contexto e para a unidade de medida.
• O Resultado: Se você perguntar "Qual é a idade média?", ele pode confundir com a temperatura média, porque os números são parecidos.

2. A Solução: O CONE (O Detetive de Números)

O CONE é como um detetive superobservador que não olha apenas para o número, mas para toda a "história" ao redor dele. Ele usa uma técnica chamada Embedding Composto (ou "Embutimento Composto").

Pense em um número não como um dígito solto, mas como um sanduíche de três camadas:

1. O Pão de Baixo (Atributo): O que é isso? (Ex: Idade, Peso, Preço).
2. O Recheio (Valor): O número em si. (Ex: 50).
3. O Pão de Cima (Unidade): A medida. (Ex: Anos, Kg, Dólares).

O CONE pega essas três camadas e as "gruda" juntas em uma única representação matemática.

• Exemplo Prático:
  • Sanduíche A: [Pão: Idade] + [Recheio: 50] + [Pão: Anos].
  • Sanduíche B: [Pão: Peso] + [Recheio: 50] + [Pão: Kg].
  • Para o CONE, esses dois sanduíches são totalmente diferentes, mesmo que o recheio (50) seja o mesmo. Ele sabe que um é sobre tempo de vida e o outro sobre massa corporal.

3. Lidando com Coisas Mais Complexas (Intervalos e Médias)

O mundo real não é só números inteiros. Às vezes temos:

• Intervalos: "Entre 10 e 20 anos".
• Médias com Variação: "1302 ± 0,25 nm" (como em testes de laboratório).

O CONE é inteligente o suficiente para entender que "10 a 20" é um intervalo e não apenas dois números soltos. Ele cria uma "ficha" especial para esses intervalos, preservando a ideia de que é uma faixa de valores, não um ponto fixo. É como se ele tivesse um mapa que mostra não apenas onde você está, mas também o quanto você pode se mover para os lados.

4. Por que isso é importante? (O Teste de Prova)

Os autores testaram o CONE em várias situações difíceis:

• Perguntas de Matemática: Em um teste chamado DROP (que exige somar, contar e ordenar números em textos), o CONE acertou muito mais do que os modelos antigos. Foi como se ele tivesse aprendido a fazer contas de verdade, e não apenas adivinhado.
• Organização de Arquivos: Imagine que você tem milhares de tabelas de hospitais, finanças e governo misturadas. O CONE consegue separar "Gastos com remédios" de "Gastos com salários" mesmo que os números sejam parecidos, porque ele entende a "unidade" e o "nome da coluna".
• Recuperação de Dados: Se você procurar por "doenças cardíacas", o CONE traz os dados certos, sem misturar com dados de "batimentos cardíacos" que são apenas números soltos.

Resumo da Ópera

O CONE é um novo tipo de "cérebro" para computadores que aprendeu a não tratar números como palavras comuns. Ele entende que 5 metros não é a mesma coisa que 5 segundos, e que 50 a 60 é diferente de 55.

Ele faz isso criando uma "identidade digital" única para cada número, que inclui:

1. O que é (o nome da coisa).
2. Quanto é (o valor).
3. Como se mede (a unidade).

Isso permite que a Inteligência Artificial entenda dados complexos de medicina, finanças e ciência com muito mais precisão, evitando erros bobos de confusão entre coisas que parecem iguais, mas são totalmente diferentes. É como dar óculos de realidade aumentada para a IA, para que ela veja o significado real por trás dos números.

Resumo técnico

Resumo Técnico: CONE

1. O Problema

Os Grandes Modelos de Linguagem (LLMs) e modelos pré-treinados (LMs) demonstram desempenho excepcional na compreensão de semântica textual, mas falham significativamente em tarefas envolvendo dados numéricos e estruturados. As principais limitações identificadas são:

• Tokenização Cega: Estratégias de tokenização padrão (como subpalavras no BERT) tratam números como palavras comuns, fragmentando-os (ex: "28,600" virando "28" e "-600"), o que distorce a semântica original.
• Ignorância de Unidades e Atributos: Modelos existentes não distinguem adequadamente entre valores idênticos com unidades ou atributos diferentes (ex: "50 anos" vs. "50 kg" ou "50 mg" de dosagem vs. "50 mg" de peso). Isso leva a confusões semânticas onde colunas numericamente similares (como "Idade" e "Tempo de Seguimento") são mapeadas para vetores quase idênticos, apesar de serem conceitos distintos.
• Falta de Estrutura Complexa: A maioria dos modelos não consegue codificar corretamente intervalos (ranges) ou distribuições gaussianas (média ± desvio padrão) presentes em dados tabulares, perdendo a informação de escala e incerteza.

2. Metodologia

O CONE (Complex Numerical Embeddings) é um modelo híbrido baseado em transformers projetado para gerar vetores de incorporação (embeddings) que preservam a distância, a magnitude e a semântica de unidades e variáveis.

Arquitetura e Componentes Principais:

• Base: O modelo utiliza um encoder transformer (como BioBERT) pré-treinado, mas com uma arquitetura modificada para lidar com dados numéricos.
• Estrutura de Embedding Composto (Composite Embedding): Em vez de um único vetor, o CONE constrói uma representação concatenada de três componentes fundamentais:
  1. Atributo: O nome da coluna/variável (ex: "Pressão Arterial").
  2. Valor Numérico: O valor em si, tratado como um token único e não fragmentado.
  3. Unidade: O símbolo da unidade (ex: "mmHg", "kg/m²").
• Tratamento de Dados Complexos:
  • Intervalos (Ranges): Representados por seu centro e comprimento (ex: "18-24" $\rightarrow$ centro 21, comprimento 6).
  • Gaussianas: Representadas por três componentes: (Média - Desvio), Média e (Média + Desvio).
• Fusão e Raciocínio:
  • Os embeddings contextuais do encoder são fundidos com embeddings numéricos específicos (baseados em métodos como DICE para preservar magnitude).
  • Uma camada de attention e um bloco transformer leve realizam o raciocínio específico para números.
  • Um autoencoder linear é utilizado para projetar a concatenação dos componentes em um espaço vetorial de dimensão fixa, preservando a informação de cada subsistema.
• Treinamento: O modelo é treinado com uma tarefa de previsão de numeral mascarado (Masked Numeral Prediction), combinando perda de regressão de magnitude e perda de classificação, forçando o modelo a aprender a magnitude exata e o contexto semântico.

3. Principais Contribuições

1. Estrutura de Embedding Composta: Uma nova abordagem que integra valor numérico, unidade e nome do atributo, garantindo que números com unidades diferentes (mesmo com o mesmo valor) sejam vetorialmente distintos.
2. Codificação Especializada: Algoritmos específicos para representar intervalos e distribuições gaussianas, preservando suas propriedades matemáticas e semânticas.
3. Algoritmos de Construção: Dois algoritmos novos para a pré-computação dos componentes do vetor e a composição final do embedding.
4. Validação Rigorosa: Análise de distância mostrando que o CONE preserva a correlação entre distâncias analíticas (diferença absoluta, distância de Wasserstein, IoU) e distâncias no espaço vetorial, algo que modelos SOTA (State-of-the-Art) não conseguem fazer.

4. Resultados Experimentais

O CONE foi avaliado em diversos conjuntos de dados de larga escala (médicos, financeiros, governamentais e web) e benchmarks de raciocínio numérico.

• Raciocínio Numérico (DROP Benchmark):
  • Alcançou um F1 Score de 87,28%, superando os baselines SOTA (como NumNet e NC-BERT) em até 9,37% de melhoria no F1.
  • Demonstrou superioridade em tarefas de contagem, ordenação e adição.
• Correspondência de Colunas e Tuplas (Column/Tuple Matching):
  • Em tarefas de recuperação (Top-K Retrieval), o CONE superou modelos como TAPAS, NumNet, NC-BERT e modelos de embedding gerais (BGE-M3, Stella, Qwen3).
  • Obteve uma melhoria significativa no Recall@10 de até 25% em comparação aos baselines.
  • Exemplo Crítico: Reduziu a similaridade coseno indevida entre "Idade" e "Tempo de Seguimento" de 0,9998 (BioBERT) para 0,82 (CONE), separando corretamente conceitos semanticamente distintos.
• Ablação: Estudos mostraram que a remoção de qualquer componente (módulo numérico, estrutura composta ou unidades) resulta em queda drástica de desempenho, confirmando a necessidade da abordagem integrada.

5. Significância e Impacto

O trabalho do CONE preenche uma lacuna crítica na interseção entre Processamento de Linguagem Natural (PLN) e dados estruturados. Ao tratar números não apenas como tokens textuais, mas como entidades com magnitude, unidade e contexto de atributo, o modelo permite:

• Recuperação de Informação Mais Precisa: Sistemas de busca em bases de dados tabulares podem encontrar registros relevantes mesmo com variações de nomenclatura ou unidades, sem confundir conceitos.
• Raciocínio Numérico Robusto: Melhora a capacidade de modelos de IA para responder a perguntas complexas que exigem cálculos e compreensão de escalas (crucial para áreas como medicina, finanças e ciência).
• Generalização: A abordagem é independente de tarefa, podendo ser aplicada em qualquer domínio onde dados numéricos estruturados estejam presentes, superando a limitação de modelos que tratam dados tabulares apenas como texto.

Em suma, o CONE estabelece um novo padrão para a representação vetorial de dados numéricos complexos, garantindo que a semântica física e matemática dos dados seja preservada no espaço de embeddings.