Technische Samenvatting: LLM's op Tabulaire Data met Beperkte Semantiek

Probleemformulering

Deze studie behandelt een industriële planningsuitdaging binnen de automotive ontwikkeling: het voorspellen van de retrofit-vereisten voor nieuw geregistreerde prototype voertuigen. Planners moeten drie specifieke vragen beantwoorden voor elk voertuig:

1. Frequentie (Occurrence): Zal het voertuig een retrofit-bezoek vereisen? (Binaire classificatie)
2. Type: Als er een bezoek plaatsvindt, welk specifiek retrofit-pakket is nodig? (15-weg multiclassificatie)
3. Duur (Duration): Hoe lang zal het retrofit-proces duren? (Regressie)

De kern van de technische uitdaging ligt in de aard van de data. De dataset koppelt een prototype-registratiesysteem (284.271 voertuigen) aan een retrofit-beheersysteem (48.716 opgeschoonde bezoeken). Cruciaal is dat de categorische metadata (bijv. afgeleide, integratiestap, motortype) is gehasht, wat betekent dat de data geen inherente lexicale semantiek bezit. Wanneer rijen worden geserialiseerd naar tekst voor verwerking door een Large Language Model (LLM), legt de input structurele patronen bloot, maar zeer weinig semantische inhoud. Deze setting dient als een gecontroleerde omgeving om te onderscheiden wat LLM's kunnen leren van louter distributieve patronen versus wat semantisch begrip vereist.

Methodologie

De auteurs evalueren drie verschillende LLM-gebaseerde strategieën tegen sterke klassieke tabulaire baselines en AutoML-referenties over de drie voorspellingsfasen.

Klassieke Baselines

De studie maakt gebruik van standaard feature engineering (target encoding, frequency encoding, interactietermen) en traint een suite van klassieke modellen, waaronder Logistische Regressie, Random Forest, Extra Trees, Gradient Boosting, XGBoost, LightGBM en CatBoost. Stacking en gewogen soft-voting ensembles worden eveneens toegepast. Voor de multiclass-taak wordt SMOTE gebruikt om klassenimbalans aan te pakken.

LLM-gebaseerde Strategieën

Drie specifieke benaderingen worden getest op geserialiseerde input-rijen:

1. LLM-EMBED: Gestructureerde rijen worden geserialiseerd naar key-value tekststrings en geëmbed met behulp van Amazon Titan Embed v2 (1.024 dimensies). Vervolgens wordt een logistische regressie-classifier getraind op deze vectoren. Vanwege API-kosten is dit gesubsampleerd naar 5.000 trainingsrijen.
2. LLM-PROMPTED: Directe classificatie met behulp van Claude Sonnet 4. Het model ontvangt geserialiseerde rijen met few-shot voorbeelden en voorspelt de label direct zonder fine-tuning. Vanwege latentie en kosten wordt dit geëvalueerd op kleine heldere subsets (200–500 rijen).
3. LLM-STACKED: Een hybride benadering waarbij een meta-learner de waarschijnlijkheidsoutputs van de beste klassieke modellen combineert met de outputs afgeleid van de LLM-strategieën. Dit test of LLM's beter functioneren als leveranciers van features of als complementaire componenten in plaats van end-to-end voorspellers.

Tijdreeks Benchmark

Naast per-bezoek voorspellingen construeren de auteurs een geaggregeerde maandelijkse tijdreeks-benchmark (76 punten) van de gemiddelde retrofit-duur. Deze wordt gebruikt om klassieke statistische forecasting en lag-gebaseerde machine learning te vergelijken met tijdreeks-foundationmodellen (Chronos, TIME-LLM) in een low-data, zero-shot setting.

Belangrijkste Resultaten

Fase 1: Binaire Voorspelling van Frequentie (Occurrence)

• Dominantie van Klassieke Modellen: Hyperparameter-getunede CatBoost behaalde de sterkste standalone prestaties (ROC-AUC = 0,997, F1 = 0,884).
• LLM-Embeddings: Embedding-gebaseerde features bleven nuttig en behaalden een AUC van 0,982, hoewel ze achterbleven bij de beste boom-ensembles.
• Falen van LLM-Prompting: Directe prompting stortte in tot random performance (AUC = 0,500) zodra het semantische signaal door hashing werd verwijderd.
• Hybride Succes: De LLM-STACKED benadering behaalde de hoogste F1-score (0,900) op de evaluatiesubset, wat suggereert dat LLM's een complementair signaal bieden wanneer ze worden gecombineerd met sterke klassieke modellen.

Fase 2: 15-weg Retrofit-Type Classificatie

• Hybride Superioriteit: Het LLM-STACKED model behaalde de beste weighted F1 (0,626) onder handmatig geconfigureerde pipelines, waarmee het Random Forest (0,621) en XGBoost (0,614) versloeg.
• AutoML: AutoGluon bleef de overall beste performer (0,654 weighted F1).
• Prompting Falen: Consistent met Fase 1 presteerde directe prompting slecht op de gehashte data.

Fase 3: Duur Regressie & Tijdreeks

• Regressie: Klassieke modellen bleven de standaard voor de per-bezoek duurvoorspelling.
• Tijdreeks: Lag-gebaseerde machine learning presteerde beter dan tijdreeks-foundationmodellen op de geaggregeerde maandelijkse benchmark. Echter, Chronos-small bleef competitief in zero-shot forecasting ondanks de kleine dataset.

Betekenis en Claims

Het paper concludeert dat voor privacy-beperkte industriële tabellen waar categorische waarden gehasht zijn en de semantische inhoud minimaal is:

1. LLM's zijn geen vervangers: Sterke klassieke tabulaire baselines (specifiek boom-ensembles) blijven de meest effectieve standalone modellen voor gestructureerde datapredictie.
2. Directe prompting is ineffectief: Zonder rijke semantische inhoud faalt directe LLM-prompting om distributieve patronen te leren, waardoor het terugvalt naar een willekeurige kans.
3. Hybridisatie is waardevol: LLM's dienen als effectieve complementaire componenten. Embedding-features behouden een nuttig signaal, en hybride stacking-strategieën kunnen de beste handmatig gebouwde modellen opleveren door de sterke punten van klassieke ML en door LLM-afgeleide representaties te combineren.
4. Implicaties voor Implementatie: De resultaten suggeries dat in enterprise-omgevingen met beperkte datasemantiek, LLM's moeten worden ingezet als feature-versterkers of componenten binnen een stacking-architectuur in plaats van als end-to-end voorspellers.

De studie biedt een duidelijk faalscenario voor directe prompting op gehashte data, terwijl het het nut van embedding-gebaseerde en hybride benaderingen in industriële planningspipelines valideert.