🤖 machine learning

In-Context Density Estimation for Tabular Data

Este artículo presenta ICED, un estimador de densidad de energía basado en transformer y de contexto interno preentrenado en un prior sintético que realiza estimación de densidad, detección de fuera de distribución, detección de anomalías y aumentación generativa a través de diversos conjuntos de datos tabulares en una sola pasada hacia adelante sin requerir reentrenamiento, ajuste de hiperparámetros o etiquetas.

Autores originales: Patryk Marszałek, Jacek Tabor, Marek Śmieja

Publicado 2026-08-11

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Patryk Marszałek, Jacek Tabor, Marek Śmieja

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que intentas comprender una ciudad nueva. En los viejos tiempos, si querías saber dónde se congregaba la gente habitualmente, dónde estaban los parques tranquilos o dónde se escondían los callejones peligrosos, tenías que contratar a un equipo de cartógrafos diferente para cada barrio. Cada equipo pasaba semanas estudiando una sola manzana, dibujando su propio mapa y luego empacando sus cosas para mudarse a la siguiente. Era lento, costoso y requería un conjunto de herramientas distinto para cada trabajo.

En el mundo de la informática, específicamente en un campo llamado aprendizaje automático (machine learning), así es exactamente como solíamos manejar los datos tabulares —el tipo de datos que parecen una hoja de cálculo con filas y columnas. El objetivo es la estimación de densidad: averiguar dónde reside la "masa de probabilidad". Piensa en esto como un mapa de qué tan concurrido es un área. Si sabes dónde están concentrados los datos, puedes detectar anomalías extrañas (outliers), encontrar cosas que no pertenecen al grupo (detección de fuera de distribución) o incluso inventar nuevos datos falsos y realistas para ayudar a entrenar a otras computadoras (aumentación de datos). Durante años, la regla fue: "Un conjunto de datos, un modelo personalizado". Pero, ¿y si pudieras construir un guía súper inteligente que aprenda la habilidad de mapear, en lugar de solo memorizar un mapa específico?

Aquí es donde un nuevo artículo presenta ICED (Estimador de Densidad basado en Energía en Contexto). Los investigadores, de la Universidad Jagueloniana de Polonia, han construido un único modelo de IA congelado que actúa como un guía urbano universal. En lugar de reentrenar un nuevo modelo para cada nueva hoja de cálculo, ICED lee los datos que le das como un "contexto" e instantáneamente te dice qué tan "denso" o concurrido es cualquier punto específico. Lo hace sin necesidad de aprender, ajustar o adaptar nada para los nuevos datos. Es como tener un guía que ha estudiado millones de ciudades diferentes durante su entrenamiento y que ahora puede entrar en una ciudad completamente nueva, observar las calles y señalar inmediatamente las plazas concurridas y las esquinas vacías y sospechosas con un solo vistazo.

El Problema: El enfoque de "Uno para todos y ninguno para nadie"

Durante mucho tiempo, si querías encontrar una aguja en un pajar (una anomalía) o generar nuevo heno (aumentación de datos), tenías que construir una máquina personalizada para ese pajar específico. Le dabas datos, ajustabas sus perillas (hiperparámetros) y esperabas que aprendiera la forma de ese montón en particular. Si obtenías un pajar nuevo con una forma diferente, tenías que empezar de cero.

El artículo argumenta que esto es ineficiente. Mientras que otros campos como el procesamiento del lenguaje se han movido hacia los "modelos fundacionales" —grandes cerebros de IA que aprenden reglas generales y pueden aplicarse a nuevas tareas instantáneamente—, la estimación de densidad de datos tabulares se ha quedado estancada en la vieja forma. Incluso los "modelos fundacionales" existentes para tablas suelen resolver un problema específico, como clasificar si un correo electrónico es spam o predecir el precio de una casa. No te dan el mapa subyacente de dónde viven los datos.

La Solución: Un creador de mapas universal

Los autores crearon ICED, un modelo basado en un Transformer (la misma arquitectura detrás de muchos chatbots de IA modernos). Así es como funciona, usando una analogía lúdica:

Imagina que estás entrenando a un detective. En lugar de mostrarle una escena del crimen y pedirle que la resuelva, le muestras millones de escenas del crimen diferentes, todas con las respuestas escritas en los márgenes. Le enseñas a reconocer patrones: "Ah, cuando las ventanas están rotas y el suelo está mojado, es probable que el sospechoso esté aquí".

ICED fue entrenado con un prior sintético. Esto significa que los investigadores no solo le dieron datos del mundo real; construyeron un universo de datos artificial masivo. Crearon millones de conjuntos de datos falsos con todo tipo de formas extrañas: algunos eran suaves y redondeados (Gaussianos), otros tenían colas largas y pesadas (heavy-tailed), otros estaban retorcidos en curvas complejas (flujos) y otros tenían tipos de información mixtos (como números y categorías). Crucialmente, debido a que ellos crearon estos datos, conocían la "densidad real" exacta de cada punto.

El modelo aprendió a mirar un conjunto de datos (el contexto) y un punto específico (la consulta) y a predecir una energía. En este artículo, "energía" es solo una palabra elegante para "densidad no normalizada". Piensa en ello como un mapa de elevación: la energía alta significa un área concurrida, segura y típica; la energía baja significa un área solitaria, sospechosa o vacía. El modelo no necesita calcular el área total exacta de la ciudad (lo cual es matemáticamente imposible de hacer perfectamente); solo necesita saber qué puntos son más altos que otros.

Lo que ICED puede hacer (sin despeinarse)

Una vez que ICED es entrenado, está congelado. Nunca cambia. Puedes usar este único e inalterable modelo para realizar cuatro trabajos muy diferentes, todo a la vez, sin reentrenar:

Estimación de Densidad: Te dice qué tan típico es un punto de datos.
Detección de Anomalías: Detecta a los extraños. Si un punto tiene una energía muy baja (está en un "valle" lejos de la multitud), ICED lo marca como una anomalía.
Detección de Fuera de Distribución (OOD): Te dice si un nuevo dato no pertenece al grupo en absoluto.
Aumentación de Datos: Puede generar nuevos puntos de datos falsos que parezcan reales. Lo hace siguiendo el "gradiente de energía" (como un excursionista caminando cuesta arriba hacia las áreas más concurridas) para crear nuevas muestras que encajen con el patrón.

Los Resultados: Rápido, Preciso y Universal

Los investigadores probaron ICED contra una enorme lista de otros métodos, desde la estadística clásica hasta modelos modernos de aprendizaje profundo.

Velocidad: Debido a que ICED no necesita entrenar con los nuevos datos, es increíblemente rápido. El artículo señala que es aproximadamente 50 veces más rápido que algunos de los otros modelos avanzados (como TabPFN) porque lo hace todo en una sola pasada hacia adelante. Es como tomar una foto de una ciudad frente a pasar semanas dibujándola a mano.
Precisión: En pruebas sintéticas donde conocían la verdad de base, ICED fue consistentemente el mejor o el segundo mejor en clasificar los puntos correctamente. No solo adivinó; entendió la forma de los datos.
Robustez: Esta es la parte más impresionante. Cuando los datos de "contexto" estaban contaminados con ruido (es decir, que los datos de entrenamiento tenían algunos puntos malos mezclados), muchos otros modelos fallaron. Su rendimiento cayó significativamente. ICED, sin embargo, se mantuvo entre los tres mejores. Fue construido para manejar datos ruidosos y de colas pesadas durante su entrenamiento, por lo que no entró en pánico cuando el mundo real se volvió desordenado.
Generación de Datos: Cuando se usó para crear datos falsos para entrenar otros clasificadores, ICED funcionó tan bien como las mejores herramientas especializadas (como TabEBM), superándolas a menudo.

El Problema (y el Futuro)

El artículo es honesto sobre sus limitaciones. ICED te da un mapa "relativo". Puede decirte que el Punto A está más concurrido que el Punto B, pero no te da un número de probabilidad perfectamente normalizado (como "hay un 45.2% de probabilidad de que esto ocurra") sin un paso adicional. Además, como observa todo el conjunto de datos a la vez, si tu conjunto de datos es masivo, podría volverse un poco lento, aunque los autores sugieren que esto se puede gestionar.

Los autores no pretenden haber resuelto todos los problemas del universo. Sugieren que ICED es un paso poderoso hacia el tratamiento de la estimación de densidad como un primitivo reutilizable. Así como ya no construimos un motor nuevo para cada coche, podríamos dejar de construir un nuevo modelo de densidad para cada hoja de cálculo. Simplemente podemos usar al guía universal, ICED, para navegar cualquier paisaje de datos que le lancemos.

En resumen, ICED es una herramienta de "aprender una vez, usar para siempre" que convierte el complejo y lento proceso de mapear datos en un solo vistazo instantáneo. Demuestra que no necesitas reinventar la rueda para cada nuevo conjunto de datos; solo necesitas una rueda que sepa rodar en cualquier terreno.

Planteamiento del Problema
La estimación de la densidad es una tarea no supervisada fundamental para los datos tabulares, que sustenta aplicaciones tales como la detección de anomalías, la detección de datos fuera de distribución (OOD, por sus siglas en inglés) y la aumentación de datos. A pesar de compartir una base probabilística común —determinar dónde reside la masa de probabilidad—, estas tareas se abordan actualmente de forma aislada. Los profesionales suelen ajustar un modelo separado para cada conjunto de datos y tarea, lo que requiere ajustes de hiperparámetros distintos, bucles de optimización y, a menudo, reingeniería para objetivos específicos. Este paradigma por cada conjunto de datos contrasta marcadamente con el enfoque de "modelo fundacional" en el lenguaje natural y la visión computacional, donde los modelos grandes adquieren capacidades generales durante el preentrenamiento y se adaptan a nuevas tareas mediante condicionamiento. Aunque las Redes Ajustadas por Priores (PFN, por sus siglas en inglés) han extendido con éxito este paradigma al aprendizaje supervisado tabular (por ejemplo, clasificación y regresión), la estimación de la densidad permanece mayoritariamente confinada a métodos de ajuste por cada conjunto de datos, como la Estimación de Densidad con Kernel (KDE), los Modelos de Mezcla Gaussiana (GMM) y los modelos de verosimilitud profundos. Los enfoques de aprendizaje en contexto existentes para tareas no supervisadas suelen producir salidas específicas de la tarea (por ejemplo, asignaciones de clústeres o puntuaciones de anomalías) en lugar de la densidad subyacente, o recuperan la densidad de manera ineficiente como un subproducto de modelos supervisados.

Metodología: ICED
Los autores presentan ICED (In-Context Energy-based Density estimator o Estimador de Densidad basado en Energía en Contexto), un modelo basado en transformadores diseñado para aprender el algoritmo de estimación de densidad en sí mismo, en lugar de ajustar un modelo para cada nuevo conjunto de datos.

Arquitectura y Aprendizaje en Contexto: ICED sigue el paradigma de las PFN. Es un transformador preentrenado una vez sobre un prior sintético. Durante la inferencia, recibe un conjunto de datos no visto $D$ como contexto y un conjunto de puntos de consulta $Q$ . Predice la energía (log-densidad no normalizada) para cada punto de consulta en una sola pasada hacia adelante, sin actualizaciones de gradiente, muestreo o selección de hiperparámetros.
Formulación de la Energía: En lugar de predecir una densidad de probabilidad normalizada, ICED predice una función de energía $f_\theta(q | D) \approx \log p(q) + c_D$ , donde $c_D$ es una constante aditiva dependiente del conjunto de datos. Esta formulación evita la función de partición intratable mientras conserva el orden relativo de los puntos, lo cual es suficiente para la clasificación, la detección y la generación basada en gradientes.
Prior de Preentrenamiento Sintético: El modelo se entrena sobre un prior sintético diverso construido para imitar las complejidades del mundo real mientras proporciona log-densidades exactas de verdad fundamental. El prior incluye:
- Mezclas Base: Mezclas gaussianas y de colas pesadas (Student-t, Laplace, Cauchy) con parámetros aleatorios.
- Deformación No Lineal: Flujos normalizadores invertibles (RealNVP y un flujo por tramos personalizado) aplicados a las mezclas base para crear soportes multimodales y curvos.
- Tipos Mixtos: Características categóricas añadidas aleatoriamente para manejar datos de tipos mixtos.
- Perturbaciones: Los puntos de consulta se perturban (mediante ruido gaussiano, Mixup o CutMix) para regularizar el paisaje de energía en las regiones fuera de distribución (OOD).
Objetivo de Entrenamiento: La función de pérdida combina dos términos para abordar los desafíos específicos de la estimación de densidad:
1. Pérdida de Regresión ( $L_{reg}$ ): Un error cuadrático para las consultas en regiones de alta densidad (dentro de la distribución) y una penalización de un solo lado para las consultas de baja densidad (OOD) para acotar la cola sin forzar valores exactos en los valores atípicos.
2. Pérdida de Clasificación/Ranking ( $L_{rank}$ ): Una pérdida de margen basada en pares que penaliza el orden incorrecto de los puntos de consulta. Esto asegura que el modelo capture la estructura de densidad relativa, lo cual es crítico para la detección de anomalías y OOD, incluso si los valores de energía absolutos son imperfectos.

Contribuciones Clave

Primer Modelo Fundacional de Densidad Tabular en Contexto: ICED extiende el paradigma de las PFN del aprendizaje de predicción supervisada al modelado probabilístico no supervisado, aprendiendo el algoritmo de estimación de densidad en sí mismo.
Prior Sintético y Objetivo Especializados: Los autores diseñan un prior de preentrenamiento que abarca distribuciones multimodales, de colas pesadas y de tipos mixtos, junto con una pérdida híbrida de regresión-clasificación que enfoca la capacidad del modelo en regiones informativas mientras preserva el orden global.
Capacidad Multitarea Unificada: Un único modelo ICED congelado impulsa cuatro tareas tradicionalmente separadas: estimación de densidad, detección de OOD, detección de anomalías no supervisada y aumentación de datos generativa, sin requerir reentrenamiento ni adaptación específica de la tarea.

Resultados Experimentales
Los autores evalúan ICED en cuatro dominios, comparándolo con estimadores clásicos (KDE, GMM), modelos de densidad profundos (MAF, RealNVP, VAE) y otros modelos fundacionales tabulares (TabPFN, TabICL, TabEBM).

Estimación de Densidad: En distribuciones sintéticas no vistas, ICED logra una precisión de ordenamiento por pares competitiva o superior a los métodos especializados. A diferencia de los modelos autorregresivos en contexto (como TabPFN) que son lentos debido a la generación secuencial de características, ICED produce densidades conjuntas en una sola pasada hacia adelante, lo que lo hace aproximadamente 50 veces más rápido que TabPFN y comparable a las bases más rápidas.
Detección de Fuera de Distribución (OOD): En el benchmark ADBench con contextos limpios, ICED alcanza un AUROC medio de 88.3, ocupando el tercer lugar entre 26 métodos y superando a los estimadores de densidad profundos especializados y a TabPFN.
Detección de Anomalías No Supervisada: En entornos donde el contexto está contaminado con anomalías, ICED mantiene su robustez, logrando un AUROC medio de 76.7. Se mantiene en los tres primeros puestos tanto en entornos limpios como contaminados, mientras que los métodos que sobresalen en datos limpios (como GMM y TabICL) sufren caídas significativas de rendimiento cuando el contexto tiene ruido.
Aumentación de Datos: Utilizando la Dinámica de Langevin con Gradiente Estocástico (SGLD) sobre la superficie de energía aprendida, ICED genera datos sintéticos que mejoran la precisión de la clasificación posterior, igualando el rendimiento de TabEBM (72.8% frente a 73.0% de precisión) y superando al baseline vanilla y a otros aumentadores generativos, a pesar de utilizar el mismo modelo congelado para todas las demás tareas.

Significancia y Reivindicaciones
El artículo posiciona a ICED como un paso hacia el tratamiento de la estimación de densidad como un primitivo reutilizable y amortizado para datos tabulares, análogo a cómo las PFN han remodelado el aprendizaje supervisado. La principal significancia radica en la eliminación del bucle de optimización por cada conjunto de datos. ICED demuestra que un único modelo congelado puede manejar eficazmente diversas tareas no supervisadas sin reentrenamiento, ajuste ni etiquetas. Los autores afirman que, al modelar una energía no normalizada y entrenar con un objetivo que equilibra la precisión local con el orden global, logran un nivel de versatilidad y eficiencia previamente inalcanzable en la estimación de densidad tabular, cerrando la brecha entre los modelos fundacionales y las tareas probabilísticas no supervisadas.

El Problema: El enfoque de "Uno para todos y ninguno para nadie"

La Solución: Un creador de mapas universal

Lo que ICED puede hacer (sin despeinarse)

Los Resultados: Rápido, Preciso y Universal

El Problema (y el Futuro)

Más como este