CONE: Embeddings for Complex Numerical Data Preserving Unit and Variable Semantics

El artículo presenta CONE, un modelo híbrido preentrenado que utiliza un algoritmo de construcción de incrustaciones compuesto para codificar números, rangos y gaussianas junto con sus unidades y atributos, logrando un razonamiento numérico superior y superando a los modelos más avanzados en diversas tareas de comprensión y recuperación de datos.

Lo esencial

¡Claro que sí! Imagina que los modelos de lenguaje actuales (como los que usan los asistentes virtuales o los chatbots) son como genios literarios. Pueden escribir poemas, entender chistes y analizar novelas con facilidad. Sin embargo, cuando les pides que hagan de "contadores" o "científicos", a menudo se vuelven torpes.

El problema es que estos modelos tratan a los números como si fueran simples palabras. Para ellos, el número "28" es solo una etiqueta, igual que la palabra "gato". No entienden que "28" es mayor que "15", ni que "28 años" es muy diferente a "28 kilómetros".

Aquí es donde entra CONE (el tema de este paper). Vamos a explicarlo con una analogía sencilla.

🍎 El Problema: La "Caja de Frutas" Confusa

Imagina que tienes una caja de frutas (los datos) y un robot que debe organizarlas.

• Si le das una manzana roja y una manzana verde, el robot actual (llamémoslo "Robot Viejo") las pone juntas porque ambas son "manzanas".
• Pero, ¿qué pasa si le das una manzana de 100 gramos y una manzana de 100 kilos?
  • El "Robot Viejo" las pone juntas porque ambas son "manzanas de 100". ¡Es un desastre! No entiende que una es una fruta real y la otra es un objeto imposible.
  • En el mundo real, esto es como confundir 28 años de edad con 28 meses de seguimiento médico. Son números iguales, pero significan cosas totalmente distintas.

💡 La Solución: CONE, el "Detective de Contexto"

CONE es un nuevo tipo de robot (un modelo de inteligencia artificial) diseñado específicamente para no cometer estos errores. En lugar de mirar solo el número, CONE construye una "Identidad Completa" para cada dato numérico.

Imagina que CONE no ve solo el número "5". Ve una tarjeta de identificación con tres partes pegadas juntas:

1. El Nombre (El Atributo): ¿De qué estamos hablando? (Ej: "Peso", "Edad", "Dosis de medicina").
2. El Valor (El Número): ¿Cuánto es? (Ej: "5").
3. La Unidad (La Medida): ¿En qué escala? (Ej: "kilos", "años", "miligramos").

La Analogía de la "Ficha de Identidad":

• Robot Viejo: Ve "5". Pone una ficha que dice "5".
• CONE: Ve "5". Crea una ficha que dice: "5 Kilos de Peso".
  • Si luego ve "5 Años de Edad", crea otra ficha: "5 Años de Edad".
  • Aunque el número "5" es el mismo, las fichas son tan diferentes que el robot sabe que no deben ir juntas.

🛠️ ¿Cómo lo hace? (La Magia Técnica Simplificada)

El paper explica que CONE hace tres cosas inteligentes:

1. No rompe los números: A veces, los robots antiguos cortan los números en pedazos (como si "28,600" fuera "28" y "600" por separado). CONE los mantiene enteros, como un bloque sólido.
2. Entiende rangos y promedios: No solo entiende números sueltos. Si ves algo como "Entre 10 y 20 años" o "1302 ± 0.25 nanómetros" (un promedio con un margen de error), CONE entiende que eso es un rango o una distribución, no un número mágico. Es como si pudiera entender que "entre 10 y 20" es un concepto diferente a "exactamente 15".
3. La "Fusión de Sabores": CONE mezcla la información del nombre, el número y la unidad en una sola "sopa" de datos (un vector de embeddings). Esto hace que, matemáticamente, "5 mg de medicina" esté muy lejos de "5 kg de comida" en su cerebro, aunque el número sea el mismo.

🏆 ¿Por qué es importante? (Los Resultados)

Los autores probaron a CONE en muchos campos: medicina, finanzas, gobierno y web. Los resultados fueron impresionantes:

• En preguntas de matemáticas: CONE acertó mucho más que los mejores robots anteriores (mejoró su puntuación en un 9% en pruebas difíciles).
• En la búsqueda de datos: Si buscas "pacientes con presión alta", CONE encuentra los datos correctos mucho mejor que los otros, porque entiende que "120 mmHg" (presión) no es lo mismo que "120 días" (tiempo), aunque el número sea 120.
• Diferenciación: En un experimento, los robots antiguos confundían "Edad" con "Tiempo de seguimiento" casi al 100%. CONE logró separarlos claramente, entendiendo que son conceptos distintos.

🚀 En Resumen

Piensa en CONE como un traductor universal que no solo traduce palabras, sino que entiende la física y la lógica detrás de los números.

• Antes: Los modelos veían números como letras sueltas.
• Ahora (con CONE): Los modelos ven números como historias completas que incluyen qué son, cuánto son y en qué medida se miden.

Esto permite que las inteligencias artificiales sean mucho más útiles en el mundo real, donde un error de cálculo o de unidad puede significar la diferencia entre un diagnóstico médico correcto y uno fatal, o entre una inversión financiera inteligente y una pérdida total. ¡CONE les da a las máquinas el sentido común numérico que les faltaba!

Resumen técnico

Resumen Técnico: CONE

1. El Problema

Los Modelos de Lenguaje Grandes (LLMs) y los modelos preentrenados (como BERT o BioBERT) han demostrado un rendimiento excepcional en la comprensión del lenguaje natural. Sin embargo, presentan deficiencias críticas al manejar datos numéricos y estructurados:

• Tokenización Ciega: Los modelos estándar tratan los números como palabras ordinarias. Al utilizar tokenización de subpalabras (ej. "28,600" se divide en "28" y "-600"), se distorsiona la semántica numérica original.
• Falta de Semántica de Magnitud y Unidad: Los embeddings tradicionales no capturan la distancia, el orden o la proporcionalidad inherentes a los números (escalas de intervalo/ratio). Además, ignoran las unidades (ej. confunden "50 años" con "50 kg" o "50 mg"), lo que lleva a una alta similitud vectorial entre atributos semánticamente distintos pero numéricamente similares.
• Incapacidad para Datos Complejos: Los modelos existentes no manejan adecuadamente rangos (ej. "10-20 años") ni distribuciones gaussianas (ej. "1302 ± 0.25 nm"), perdiendo la información sobre la variabilidad y el contexto estructural.

2. Metodología: El Modelo CONE

Los autores proponen CONE, un codificador híbrido basado en transformadores diseñado para generar embeddings compuestos que preservan la semántica de valores, unidades y atributos.

Arquitectura Clave:

1. Codificador Base: Utiliza un modelo preentrenado (BioBERT) modificado.
2. Fusión de Embeddings Numéricos:
   • Se extraen los tokens numéricos del input.
   • Se generan embeddings de valor numérico (usando el método DICE u otros) que capturan la magnitud.
   • Estos se fusionan con los embeddings contextuales del codificador mediante suma elemento a elemento y pasan por un bloque de transformador ligero para el razonamiento específico de números.
3. Estructura de Embedding Compuesto (Composite Embedding):
   • En lugar de un solo vector, CONE concatena tres componentes clave: Atributo (nombre de la columna), Valor (escalar, rango o gaussiano) y Unidad.
   • Manejo de Rangos: Se representan mediante su centro ($\frac{a+b}{2}$) y su longitud ($|b-a|$).
   • Manejo de Gaussianas: Se representan concatenando embeddings para $(\mu - \sigma)$, $\mu$ y $(\mu + \sigma)$.
   • Normalización: Se utiliza un esquema de "slots" con relleno cero y un autoencoder lineal para proyectar la concatenación variable en un espacio vectorial de dimensión fija (768), preservando la información de cada componente.

Entrenamiento:

• Se utiliza una tarea de predicción de números enmascarados (Masked Numeral Prediction).
• La función de pérdida combina la regresión de magnitud (para asegurar que el modelo entienda el valor numérico) y la clasificación (para el token enmascarado).

3. Contribuciones Clave

• Estructura de Embedding Compuesto: Un diseño novedoso que integra explícitamente el valor numérico, la unidad y el nombre del atributo, permitiendo distinguir entre valores idénticos con significados diferentes (ej. 5 mg de dosis vs. 5 mg de peso).
• Embeddings Especializados para Rangos y Gaussianas: Algoritmos que preservan la semántica de distribuciones y intervalos, no solo de escalares.
• Algoritmos de Construcción: Dos algoritmos nuevos para la precomputación de componentes y la composición final del vector de embedding.
• Validación de Distancia: Demostración analítica de que las distancias en el espacio de embedding de CONE correlacionan fuertemente con las distancias matemáticas reales (Euclidiana, Jaccard, Wasserstein) de los datos numéricos, algo que los modelos base no logran.

4. Resultados Experimentales

Los autores evaluaron CONE en múltiples tareas y conjuntos de datos de gran escala (médicos, financieros, gubernamentales y web).

• Razonamiento Numérico (DROP):
  • CONE alcanzó un puntaje F1 de 87.28% en el conjunto de pruebas DROP, superando a los modelos State-of-the-Art (SOTA) como NumNet y NC-BERT.
  • Logró una mejora de hasta 9.37 puntos F1 sobre las líneas base SOTA.
• Coincidencia de Columnas y Tuplas (Column/Tuple Matching):
  • En tareas de recuperación (Recall@10), CONE superó significativamente a modelos como TAPAS, NumNet, NC-BERT y modelos de recuperación general (BGE-M3, Stella, Qwen3).
  • Mostró una mejora de hasta 25% en Recall@10 sobre las líneas base en conjuntos de datos como WebTables.
  • Capacidad de Diferenciación: En un caso de estudio, la similitud entre "Edad" y "Seguimiento (meses)" (que BioBERT confundía con 0.9998 de similitud) se redujo a 0.82 con CONE, permitiendo distinguir correctamente atributos semánticamente diferentes.
• Ablación: El estudio demostró que eliminar cualquiera de los componentes (módulo numérico, estructura compuesta, unidades o rangos) degrada significativamente el rendimiento, confirmando la necesidad de la arquitectura completa.

5. Significado e Impacto

El trabajo de CONE es fundamental para el avance de la inteligencia artificial en el manejo de datos estructurados y científicos:

• Resuelve la Polisemia Numérica: Permite a los modelos entender que un número no es un símbolo aislado, sino que su significado depende intrínsecamente de su contexto (atributo) y escala (unidad).
• Aplicabilidad en Dominios Críticos: Es especialmente relevante para la medicina, finanzas y ciencias, donde la precisión numérica y la distinción entre unidades son vitales para la toma de decisiones.
• Eficiencia: A diferencia de enfoques que requieren reordenamiento con LLMs grandes (como Magneto), CONE ofrece un enfoque eficiente basado en embeddings que no requiere llamadas costosas a modelos generativos para tareas de recuperación y coincidencia de esquemas.

En conclusión, CONE establece un nuevo estándar para la representación de datos numéricos complejos en modelos de lenguaje, superando las limitaciones de la tokenización tradicional y habilitando un razonamiento numérico robusto y semánticamente consciente.