Resumen Técnico: LLMs en Datos Tabulares con Semántica Limitada

Formulación del Problema

Este estudio aborda un desafío de planificación industrial dentro del desarrollo automotriz: predecir los requisitos de retroajuste (retrofit) para vehículos prototipo recién registrados. Los planificadores deben responder tres preguntas específicas para cada vehículo:

1. Ocurrencia: ¿Requerirá el vehículo una visita de retroajuste? (Clasificación binaria)
2. Tipo: Si ocurre una visita, ¿qué paquete de retroajuste específico se necesita? (Clasificación multiclase de 15 vías)
3. Duración: ¿Cuánto tiempo tomará el proceso de retroajuste? (Regresión)

El desafío técnico central reside en la naturaleza de los datos. El conjunto de datos vincula un sistema de registro de prototipos (284,271 vehículos) con un sistema de gestión de retroajustes (48,716 visitas depuradas). Crucialmente, los metadatos categóricos (por ejemplo, derivado, paso de integración, tipo de motor) están hasheados (mediante funciones hash), lo que significa que los datos carecen de semántica léxica inherente. Cuando las filas se serializan en texto para el procesamiento de Modelos de Lenguaje Extensos (LLM), la entrada expone patrones estructurales pero muy poco contenido semántico. Este entorno sirve como un entorno controlado para distinguir qué pueden aprender los LLM de los patrones distributivos por sí solos frente a lo que requiere comprensión semántica.

Metodología

Los autores evalúan tres estrategias distintas basadas en LLM frente a sólidos referentes clásicos tabulares y referencias de AutoML a través de las tres etapas de predicción.

Referentes Clásicos (Baselines)

El estudio emplea ingeniería de características estándar (codificación de objetivos, codificación de frecuencia, términos de interacción) y entrena una suite de modelos clásicos, incluyendo Regresión Logística, Random Forest, Extra Trees, Gradient Boosting, XGBoost, LightGBM y CatBoost. También se utilizan ensambles de stacking y de votación suave ponderada (weighted soft-voting). Para la tarea multiclase, se utiliza SMOTE para manejar el desequilibrio de clases.

Estrategias Basadas en LLM

Se prueban tres enfoques específicos en entradas de filas serializadas:

1. LLM-EMBED: Las filas estructuradas se serializan en cadenas de texto clave-valor y se incrustan utilizando Amazon Titan Embed v2 (1,024 dimensiones). Posteriormente, se entrena un clasificador de regresión logística sobre estos vectores. Debido a los costos de la API, esto se submuestrea a 5,000 filas de entrenamiento.
2. LLM-PROMPTED: Clasificación directa utilizando Claude Sonnet 4. El modelo recibe filas serializadas con ejemplos de pocos disparos (few-shot) y predice la etiqueta directamente sin ajuste fino (fine-tuning). Debido a la latencia y el costo, esto se evalúa en subconjuntos pequeños reservados (200–500 filas).
3. LLM-STACKED: Un enfoque híbrido donde un meta-aprendiz combina las salidas de probabilidad de los mejores modelos clásicos con las salidas derivadas de las estrategias de LLM. Esto pone a prueba si los LLM funcionan mejor como proveedores de características o como componentes complementarios en lugar de predictores de extremo a extremo.

Referente de Series Temporales

Además de las predicciones por visita, los autores construyen un referente de series temporales mensuales agregadas (76 puntos) de la duración media del retroajuste. Esto se utiliza para comparar el pronóstico estadístico clásico y el aprendizaje automático basado en rezagos (lag-based ML) contra modelos fundacionales de series temporales (Chronos, TIME-LLM) en un entorno de bajos datos y cero disparos (zero-shot).

Resultados Clave

Etapa 1: Predicción de Ocurrencia Binaria

• Dominio Clásico: CatBoost con hiperparámetros optimizados logró el desempeño independiente más fuerte (ROC-AUC = 0.997, F1 = 0.884).
• Embeddings de LLM: Las características basadas en embeddings siguieron siendo útiles, logrando un AUC de 0.982, aunque quedaron por detrás de los mejores ensambles de árboles.
• Fallo de Prompting Directo: El prompting directo colapsó hacia un desempeño aleatorio (AUC = 0.500) una vez que la señal semántica fue eliminada mediante el hashing.
• Éxito Híbrido: El enfoque LLM-STACKED logró el F1 score más alto (0.900) en su subconjunto de evaluación, lo que sugiere que los LLM proporcionan una señal complementaria cuando se combinan con modelos clásicos fuertes.

Etapa 2: Clasificación de Tipo de Retroajuste de 15 Vías

• Superioridad Híbrida: El modelo LLM-STACKED logró el mejor F1 ponderado (0.626) entre los pipelines configurados manualmente, superando a Random Forest (0.621) y XGBoost (0.614).
• AutoML: AutoGluon se mantuvo como el mejor ejecutor general (0.654 F1 ponderado).
• Fallo de Prompting: Consistente con la Etapa 1, el prompting directo funcionó deficientemente en los datos hasheados.

Etapa 3: Regresión de Duración y Series Temporales

• Regresión: Los modelos clásicos siguieron siendo el estándar para la predicción de la duración por visita.
• Series Temporales: El aprendizaje automático basado en rezagos superó a los modelos fundacionales de series temporales en el benchmark mensual agregado. Sin embargo, Chronos-small se mantuvo competitivo en el pronóstico zero-shot a pesar del pequeño tamaño del conjunto de datos.

Significado y Reivindicaciones

El artículo concluye que para tablas industriales con restricciones de privacidad donde los valores categóricos están hasheados y el contenido semántico es mínimo:

1. Los LLM no son reemplazos: Los sólidos baselines tabulares clásicos (específicamente los ensambles de árboles) siguen siendo los modelos independientes más efectivos para la predicción de datos estructurados.
2. El prompting directo es ineficaz: Sin un contenido semántico rico, el prompting directo de los LLM falla al aprender patrones distributivos, colapsando al azar.
3. La hibridación es valiosa: Los LLM sirven como componentes complementarios efectivos. Los embeddings de características retienen una señal útil, y las estrategias de stacking híbrido pueden producir los mejores modelos construidos manualmente al combinar las fortalezas del ML clásico y las representaciones derivadas de LLM.
4. Implicaciones de Despliegue: Los resultados sugieren que en entornos empresariales con semántica de datos limitada, los LLM deben desplegarse como potenciadores de características o componentes dentro de una arquitectura de stacking en lugar de como predictores de extremo a extremo.

El estudio proporciona un modo de fallo claro para el prompting directo en datos hasheados, validando al mismo tiempo la utilidad de los enfoques basados en embeddings y los enfoques híbridos en las líneas de planificación industrial.