Resumo Técnico: LLMs em Dados Tabulares com Semântica Limitada

Formulação do Problema

Este estudo aborda um desafio de planejamento industrial no desenvolvimento automotivo: prever os requisitos de retrofit para novos veículos protótipos registrados. Os planejadores devem responder a três perguntas específicas para cada veículo:

1. Ocorrência: O veículo exigirá uma visita de retrofit? (Classificação binária)
2. Tipo: Se ocorrer uma visita, qual pacote de retrofit específico é necessário? (Classificação multiclasse de 15 vias)
3. Duração: Quanto tempo levará o processo de retrofit? (Regressão)

O desafio técnico central reside na natureza dos dados. O conjunto de dados vincula um sistema de registro de protótipos (284.271 veículos) a um sistema de gestão de retrofits (48.716 visitas limpas). Crucialmente, os metadados categóricos (ex: derivativo, etapa de integração, tipo de motor) são hasheados (codificados por hash), o que significa que os dados carecem de semântica lexical inerente. Quando as linhas são serializadas em texto para processamento por Modelos de Linguagem de Grande Escala (LLMs), a entrada expõe padrões estruturais, mas muito pouco conteúdo semântico. Este cenário serve como um ambiente controlado para distinguir o que os LLMs podem aprender apenas de padrões distributivos versus o que requer compreensão semântica.

Metodologia

Os autores avaliam três estratégias distintas baseadas em LLM contra fortes baselines clássicos de tabelas e referências de AutoML ao longo das três etapas de previsão.

Baselines Clássicos

O estudo emprega engenharia de atributos padrão (target encoding, frequency encoding, termos de interação) e treina um conjunto de modelos clássicos, incluindo Regressão Logística, Random Forest, Extra Trees, Gradient Boosting, XGBoost, LightGBM e CatBoost. Ensembles de stacking e soft-voting ponderado também são utilizados. Para a tarefa multiclasse, o SMOTE é usado para lidar com o desequilíbrio de classes.

Estratégias Baseadas em LLM

Três abordagens específicas são testadas em entradas serializadas por linha:

1. LLM-EMBED: Linhas estruturadas são serializadas em strings de texto chave-valor e incorporadas usando Amazon Titan Embed v2 (1.024 dimensões). Um classificador de regressão logística é então treinado sobre esses vetores. Devido aos custos de API, isso é subamostrado para 5.000 linhas de treinamento.
2. LLM-PROMPTED: Classificação direta usando Claude Sonnet 4. O modelo recebe linhas serializadas com exemplos de poucos disparos (few-shot) e prevê o rótulo diretamente sem ajuste fino (fine-tuning). Devido à latência e ao custo, isso é avaliado em pequenos subconjuntos mantidos fora da amostra (200–500 linhas).
3. LLM-STACKED: Uma abordagem híbrida onde um meta-aprendiz combina as saídas de probabilidade dos melhores modelos clássicos com as saídas derivadas das estratégias de LLM. Isso testa se os LLMs funcionam melhor como provedores de atributos ou componentes complementares, em vez de preditores de ponta a ponta.

Benchmark de Séries Temporais

Além das previsões por visita, os autores constroem um benchmark de série temporal mensal agregada (76 pontos) da duração média do retrofit. Isso é usado para comparar o forecasting estatístico clássico e aprendizado de máquina baseado em defasagem (lag-based) contra modelos de fundação de séries temporais (Chronos, TIME-LLM) em um cenário de poucos dados e zero-shot.

Principais Resultados

Estágio 1: Previsão de Ocorrência Binária

• Dominância Clássica: O CatBoost com hiperparâmetros ajustados alcançou o desempenho isolado mais forte (ROC-AUC = 0,997, F1 = 0,884).
• Embeddings de LLM: Atributos baseados em embeddings permaneceram úteis, alcançando um AUC de 0,982, embora tenham ficado atrás dos melhores ensembles de árvores.
• Falha de Prompting Direto: O prompting direto colapsou para um desempenho aleatório (AUC = 0,500) uma vez que o sinal semântico foi removido pelo hashing.
• Sucesso Híbrido: A abordagem LLM-STACKED alcançou o maior F1 score (0,900) em seu subconjunto de avaliação, sugerindo que os LLMs fornecem sinal complementar quando combinados com fortes modelos clássicos.

Estágio 2: Classificação de Tipo de Retrofit de 15 Vias

• Superioridade Híbrida: O modelo LLM-STACKED alcançou o melhor F1 ponderado (0,626) entre os pipelines configurados manualmente, superando o Random Forest (0,621) e o XGBoost (0,614).
• AutoML: O AutoGluon permaneceu o melhor performer geral (0,654 F1 ponderado).
• Falha de Prompting: Consistente com o Estágio 1, o prompting direto teve um desempenho ruim nos dados hasheados.

Estágio 3: Regressão de Duração e Séries Temporais

• Regressão: Modelos clássicos permaneceram como o padrão para a previsão de duração por visita.
• Séries Temporais: O aprendizado de máquina baseado em lag superou os modelos de fundação de séries temporais no benchmark mensal agregado. No entanto, o Chronos-small permaneceu competitivo no forecasting zero-shot, apesar do tamanho pequeno do conjunto de dados.

Significância e Alegações

O artigo conclui que para tabelas industriais com restrições de privacidade, onde os valores categóricos são hasheados e o conteúdo semântico é mínimo:

1. LLMs não são substitutos: Fortes baselines clássicos de tabelas (especificamente ensembles de árvores) continuam sendo os modelos isolados mais eficazes para previsão de dados estruturados.
2. O prompting direto é ineficaz: Sem conteúdo semântico rico, o prompting direto de LLM falha em aprender padrões distributivos, colapsando para o acaso aleatório.
3. A hibridização é valiosa: Os LLMs servem como componentes complementares eficazes. Atributos de embedding retêm sinais úteis, e estratégias de stacking híbrido podem gerar os melhores modelos construídos manualmente ao combinar as forças do ML clássico e das representações derivadas de LLM.
4. Implicações de Implantação: Os resultados sugerem que, em ambientes empresariais com semântica de dados limitada, os LLMs devem ser implantados como potencializadores de atributos ou componentes dentro de uma arquitetura de stacking, em vez de preditores de ponta a ponta.

O estudo fornece um modo de falha claro para o prompting direto em dados hasheados, validando simultaneamente a utilidade das abordagens baseadas em embeddings e híbridas em pipelines de planejamento industrial.