En el mundo de los datos, la información suele llegar en cuadrículas rectangulares y ordenadas: filas de clientes, columnas de transacciones y celdas llenas de números o categorías. Durante décadas, la forma más fiable de encontrar patrones en estas cuadrículas fue utilizar un tipo específico de programa informático conocido como árbol de decisión de potenciación de gradiente (gradient-boosted decision tree). Estos programas son como un equipo de expertos que plantean una serie de preguntas sencillas de sí o no para clasificar los datos, construyendo una compleja estructura de toma de decisiones pieza por pieza. Son increíblemente eficaces, pero tienen una limitación significativa: deben entrenarse desde cero para cada nuevo conjunto de datos. Si una empresa quiere predecir la pérdida de clientes para un producto y luego pasar a predecir el impago de préstamos para otro, el modelo debe reentrenarse, un proceso que requiere tiempo, potencia de cálculo y un ajuste cuidadoso de la configuración.

Recientemente, ha surgido un nuevo enfoque que toma prestada una técnica del estudio del lenguaje. En lugar de entrenar un nuevo modelo para cada tarea, estos sistemas más nuevos utilizan un único modelo fundacional preentrenado que puede aprender de ejemplos proporcionados en el momento. Este método, llamado aprendizaje en contexto (in-context learning), permite que el modelo observe unos pocos ejemplos del problema que intenta resolver y luego realice una predicción para un nuevo caso sin cambiar nunca su configuración interna. Si bien esto ofrece un camino prometedor hacia una herramienta universal para datos tabulares, persiste un obstáculo importante. A medida que aumenta la cantidad de datos históricos que el modelo necesita considerar, el tiempo que tarda en realizar una sola predicción se dispara. El modelo debe comparar cada nueva pregunta con cada uno de los datos pasados que ha visto, creando un cuello de botella computacional que lo hace impracticable para usos a gran escala y en tiempo real.

Investigadores de la Universidad de Cambridge han abordado este cuello de botella con un método que llaman Localized TabICLv2. Su trabajo se centra en una versión específica del modelo de aprendizaje en contexto conocida como TabICLv2, que ya ha demostrado un rendimiento de vanguardia en diversas tareas de clasificación. El problema central del modelo original es que, durante su etapa final de predicción, obliga a cada nuevo punto de datos a prestar atención a todo el conjunto de datos de entrenamiento simultáneamente. Si un conjunto de datos contiene cientos de miles de filas, el modelo debe procesar una cantidad masiva de información para cada consulta, lo que genera tiempos de respuesta lentos y altos costes energéticos. Los investigadores se plantearon una pregunta sencilla: ¿realmente necesita un modelo observar cada ejemplo pasado para hacer una buena predicción, o puede encontrar un grupo más pequeño y relevante de ejemplos que contenga las pistas necesarias?

Para responder a esto, el equipo introdujo un paso de recuperación que actúa como un filtro antes de que se realice la predicción final. En lugar de alimentar el modelo con todo el historial de datos, primero convierten cada fila de datos en una representación matemática que captura sus características esenciales. Cuando llega una nueva consulta, el sistema busca en el historial almacenado para encontrar las pocas docenas de filas que son más similares al nuevo caso. Luego, alimenta el motor de predicción únicamente con estas coincidencias más cercanas, en lugar de con todo el conjunto de datos. Este enfoque es similar a cómo un humano podría resolver un problema recordando un puñado de experiencias pasadas relevantes en lugar de intentar recordar cada evento de su vida. Al limitar el contexto a estos vecinos más cercanos, los investigadores redujeron drásticamente la cantidad de información que el modelo tenía que procesar a la vez.

Sin embargo, no bastaba con reducir los datos para mantener la alta precisión del sistema original. El modelo había sido entrenado para esperar el contexto completo, por lo que eliminar la mayor parte de este causó inicialmente una caída en su rendimiento. Para solucionar esto, los investigadores ajustaron los mecanismos internos del modelo. Ajustaron la forma en que el modelo crea sus representaciones de los datos y la forma en que utiliza esas representaciones para realizar predicciones, entrenándolo específicamente para trabajar bien con esta visión localizada y más pequeña. Este proceso aseguró que el modelo aprendiera a extraer la información más crítica de solo unos pocos ejemplos, en lugar de depender del volumen de datos para encontrar patrones.

Los resultados de este enfoque se midieron frente a una amplia gama de conjuntos de datos del mundo real, que abarcan desde la detección de fraude con tarjetas de crédito hasta la pérdida de clientes. Cuando los investigadores probaron el modelo localizado en un benchmark estándar que contenía treinta y ocho conjuntos de datos diferentes, descubrieron que la versión ajustada conservaba casi toda la precisión del modelo completo. Específicamente, preservó el 98,64 por ciento del rendimiento original, lo que significa que realizó casi tantas predicciones correctas como la versión de contexto completo, que es mucho más lenta. El intercambio fue una ganancia masiva en velocidad. En escenarios donde el modelo debía procesar datos en lotes, funcionó más del doble de rápido. En situaciones en las que el modelo tenía que responder a una sola pregunta a la vez, la mejora de velocidad fue aún más dramática, alcanzando una mejora mediana de 249 veces más rápido que el sistema original.

El estudio también reveló que el tamaño del conjunto de datos era significativo para estas ganancias de velocidad. Cuanto mayor era el conjunto de entrenamiento, más beneficiosa resultaba la localización. Para conjuntos de datos más pequeños, el tiempo dedicado a buscar los vecinos adecuados a veces compensaba el tiempo ahorrado al procesar menos datos. Pero a medida que el número de filas de entrenamiento crecía hacia los cientos de miles, el método localizado se volvía cada vez más eficiente, demostrando que el enfoque escala bien con los tamaños de datos que suelen ralentizar estos modelos. Además, los investigadores compararon su método con alternativas más simples, como el uso de un árbol de decisión estándar aplicado solo a los vecinos recuperados o un sistema de votación básico. Su modelo localizado superó consistentemente a estos baselines más simples, demostrando que la combinación de una recuperación inteligente y un motor de predicción especializado era la clave del éxito.

Este trabajo sugiere que el futuro del aprendizaje automático tabular no reside en construir modelos más grandes que consuman más energía, sino en hacer que los modelos existentes sean más inteligentes sobre qué información necesitan. Al enseñar a un potente modelo fundacional a centrarse solo en los ejemplos más relevantes, los investigadores han demostrado que es posible lograr una alta precisión sin el pesado coste computacional de procesar conjuntos de datos enteros. Los hallazgos indican que estos modelos pueden hacerse prácticos para el despliegue en el mundo real, donde la velocidad y la eficiencia son tan importantes como el poder predictivo. Aunque el método se basa en la suposición de que los ejemplos pasados más similares son los más informativos, los resultados muestran que esta suposición se mantiene a través de una vasta variedad de tipos de datos. El estudio conclce que, con los ajustes adecuados, la promesa del aprendizaje en contexto para datos tabulares puede realizarse sin sacrificar la eficiencia requerida para aplicaciones a gran escala.