Engineering Regression Without Real-Data Training: Domain Adaptation for Tabular Foundation Models Using Multi-Dataset Embeddings

Este artigo apresenta o TREDBench e um método de curadoria de dados sintéticos guiado por embeddings para adaptar o modelo TabPFN 2.5 a tarefas de regressão de engenharia sem treinamento em dados reais, demonstrando ganhos significativos em precisão e eficiência de dados ao preencher a lacuna entre distribuições sintéticas e reais.

O essencial

Imagine que você é um engenheiro tentando projetar a asa perfeita de um avião ou o motor mais eficiente de um carro. Para fazer isso, você precisa de dados: medições de testes, simulações complexas e experimentos reais. O problema é que esses dados são caríssimos e difíceis de conseguir. Fazer um teste de colisão de um carro pode custar um milhão de dólares.

Por isso, os engenheiros sempre tiveram que criar um "modelo de previsão" (um software que adivinha o resultado) do zero para cada novo projeto, como se fosse um artesão fazendo uma ferramenta única para cada tarefa. Isso é lento e ineficiente.

Recentemente, a inteligência artificial criou "Modelos de Fundação" (como o GPT para texto), que são treinados em quantidades massivas de dados para aprender padrões gerais e depois se adaptam a qualquer tarefa nova. A pergunta que os autores deste trabalho fizeram foi: "Por que não temos um 'GPT para Engenharia' que aprenda com milhões de dados sintéticos (gerados por computador) e depois funcione perfeitamente em nossos dados reais e caros?"

A resposta inicial foi: Não funciona tão bem assim.

O Problema: O "Sotaque" dos Dados

Os autores descobriram que os dados gerados por computadores (dados sintéticos) têm um "sotaque" muito diferente dos dados reais de engenharia. É como tentar ensinar um aluno de física usando apenas livros de ficção científica: a lógica parece parecida, mas os detalhes reais não batem.

Eles criaram um banco de dados chamado TREDBench (um "glossário" de 83 conjuntos de dados reais) e usaram uma IA chamada TabPFN para "ler" esses dados e ver como eles se parecem.

• Descoberta 1: Dados de engenharia e dados de negócios (como preços de casas) são diferentes.
• Descoberta 2: Dados de engenharia e dados sintéticos (gerados por computador) são muito diferentes. A IA consegue dizer quase 100% de certeza se um dado é "falso" (sintético) ou "real" (engenharia).

A Solução: O "Treinador de Seleção"

Aqui entra a parte genial do trabalho. Em vez de tentar treinar a IA com dados reais (que são poucos e caros), eles decidiram filtrar os dados sintéticos.

Imagine que você tem uma fábrica que produz 10.000 carros de brinquedo (dados sintéticos) todos os dias. A maioria deles é feita de plástico ruim e não parece com um carro de verdade. Mas, se você olhar com atenção, 200 deles são feitos de um material que quase parece com um carro real.

O método deles foi:

1. Gerar: Criar 10.000 conjuntos de dados sintéticos.
2. Classificar: Usar uma IA para olhar para esses dados e dizer: "Este aqui parece muito com um problema de engenharia real".
3. Selecionar: Pegar apenas os 200 melhores (os que mais parecem com a realidade).
4. Treinar: Pegar o modelo de IA (TabPFN) e dar um "ajuste fino" (fine-tuning) apenas com esses 200 dados selecionados.

O grande truque: Eles nunca usaram um único dado real de engenharia para treinar o modelo. Usaram apenas os dados sintéticos que pareciam reais.

O Resultado: O "Super-Engenheiro"

O resultado foi impressionante. O modelo ajustado ficou muito melhor do que o modelo original e muito melhor do que os melhores sistemas automáticos de engenharia existentes (como o AutoGluon).

• Precisão: Funcionou melhor em 29 de 35 problemas de engenharia testados.
• Eficiência de Dados: O modelo precisou de menos da metade dos dados para chegar ao mesmo nível de precisão que os outros modelos. É como se ele aprendesse a andar de bicicleta com apenas 20 minutos de prática, enquanto os outros precisavam de 2 horas.

Analogia Final: O Chef de Cozinha

Pense no modelo de IA original como um chef de cozinha que só aprendeu a cozinhar com ingredientes sintéticos (plásticos e gelatina). Ele sabe a teoria, mas o sabor não é o mesmo de um prato real.

Os autores pegaram esse chef e disseram: "Não vamos comprar ingredientes reais caros. Vamos pegar 10.000 sacos de ingredientes sintéticos, provar cada um e selecionar apenas os 200 que têm o sabor mais próximo do tomate real".

Eles deram apenas esses 200 "ingredientes quase reais" para o chef treinar. O resultado? O chef aprendeu a cozinhar tão bem que, quando recebeu um prato real pela primeira vez, ele o preparou melhor do que qualquer outro chef que tivesse treinado apenas com ingredientes reais ou apenas com a teoria.

Por que isso importa?

Isso significa que, no futuro, engenheiros não precisarão gastar milhões em testes físicos para treinar seus softwares. Eles poderão usar "motores de dados" sintéticos, bem curados e selecionados, para criar modelos inteligentes que aprendem rápido, economizam dinheiro e aceleram a inovação em áreas onde dados reais são escassos.

Em resumo: Eles ensinaram a IA a entender a "língua" da engenharia, sem nunca ter conversado com um engenheiro de verdade, apenas ouvindo os melhores imitadores.

Resumo técnico

Resumo Técnico: Adaptação de Domínio para Modelos Fundamentais de Tabelas em Engenharia sem Treinamento com Dados Reais

1. Problema e Motivação

A modelagem preditiva em engenharia enfrenta desafios históricos devido à escassez, fragmentação e alto custo de obtenção de dados reais (ex: simulações físicas ou testes de colisão de veículos). Tradicionalmente, isso levou ao uso de modelos "sob medida" (bespoke) treinados individualmente para cada tarefa, exigindo re-treinamento e ajuste de hiperparâmetros para cada novo conjunto de dados.

Embora modelos fundamentais de tabelas (Tabular Foundation Models - TFMs), como o TabPFN, tenham avançado ao serem pré-treinados em milhões de conjuntos de dados sintéticos gerados proceduralmente, existe uma lacuna crítica: a distribuição estatística desses dados sintéticos pode não refletir a estrutura dos dados reais de engenharia. Isso limita a capacidade de transferência (transfer learning) desses modelos para aplicações de engenharia, criando uma lacuna de domínio (domain gap) significativa entre dados sintéticos e reais.

O objetivo central do trabalho é investigar se é possível adaptar um modelo fundamental treinado exclusivamente em dados sintéticos para tarefas de regressão de engenharia sem utilizar nenhum dado real de engenharia durante o processo de ajuste fino, superando a escassez de dados.

2. Metodologia

Os autores propõem uma abordagem inovadora que combina a criação de um benchmark, análise de embeddings de conjuntos de dados e curadoria de dados sintéticos guiada por embeddings.

• TREDBench (Benchmarck de Regressão em Engenharia):

  • Os autores criaram o TREDBench, uma coleção curada de 83 conjuntos de dados reais de regressão tabular.
  • Estes dados foram classificados manualmente por especialistas como Engenharia (35 conjuntos, ex: mecânica, materiais, elétrica) ou Não-Engenharia (48 conjuntos, ex: economia, logística).
  • Os dados foram padronizados (escalonamento, seleção de 1024 amostras, filtragem de características) para avaliação consistente em cenários de poucos dados.

• Análise de Estrutura de Domínio via Embeddings:

  • Utilizaram o TabPFN 2.5 para gerar representações vetoriais (embeddings) em nível de conjunto de dados. Cada conjunto de dados é mapeado para um vetor fixo (192 dimensões) baseado na média das representações dos pontos de dados internos do modelo.
  • Um classificador (XGBoost) foi treinado nesses embeddings para distinguir entre:
    1. Dados de Engenharia vs. Não-Engenharia (Acurácia: 65,8%).
    2. Dados Sintéticos Procedurais vs. Dados de Engenharia (Acurácia: 96,8%).
  • Descoberta Chave: Existe uma grande lacuna entre os dados sintéticos padrão e os dados de engenharia, mas uma subconjunto de dados sintéticos ocupa uma região próxima aos dados de engenharia no espaço de embeddings.

• Curadoria de Dados Sintéticos Guiada por Embeddings (Método Proposto):

  • Geração: Geraram 10.000 conjuntos de dados sintéticos procedurais.
  • Seleção: Treinaram um classificador binário no espaço de embeddings para prever a probabilidade de um conjunto sintético pertencer à classe "Engenharia".
  • Filtragem: Selecionaram os 200 melhores conjuntos sintéticos com maior probabilidade de serem "semelhantes à engenharia".
  • Redução da Lacuna: Após a seleção, a distinguibilidade entre os dados sintéticos selecionados e os dados reais de engenharia caiu de 96,8% para 88,9%, indicando uma sobreposição muito maior.

• Ajuste Fino (Fine-Tuning) sem Dados Reais:

  • O modelo TabPFN 2.5 foi submetido a um pré-treinamento contínuo (continued pre-training) por 5 épocas utilizando apenas os 200 conjuntos sintéticos selecionados.
  • Crucial: Nenhum dado real de engenharia foi usado para atualizar os pesos do modelo durante este processo. O objetivo foi moldar a distribuição de treinamento sintética para se alinhar à estrutura dos dados de engenharia.

3. Resultados Experimentais

O modelo adaptado foi avaliado nos 35 conjuntos de dados de engenharia do TREDBench, comparado ao TabPFN 2.5 original (não ajustado) e ao AutoGluon (um sistema AutoML de ponta).

• Desempenho Preditivo:

  • O modelo ajustado com dados sintéticos selecionados superou o TabPFN 2.5 original em 29/35 conjuntos de dados.
  • Superou o AutoGluon em 27/35 conjuntos de dados.
  • Isso estabelece um novo estado da arte (SOTA) para predição tabular em problemas de engenharia.

• Eficiência de Dados:

  • O estudo mediu quantos dados de treinamento são necessários para atingir um determinado nível de erro (MSE).
  • Ganhos Multiplicativos: O método proposto alcançou ganhos médios de eficiência de dados de 1,75x em relação ao TabPFN 2.5 original e 4,44x em relação ao AutoGluon.
  • Isso significa que o modelo adaptado atinge o mesmo desempenho com significativamente menos amostras de treinamento, uma vantagem crítica em engenharia.

• Consistência:

  • Embora haja melhorias generalizadas, o desempenho não foi uniforme em todos os problemas (houve degradação em alguns casos específicos), indicando que a geração de dados sintéticos ainda pode ser refinada.

4. Contribuições Principais

1. TREDBench: Um novo benchmark padronizado com 83 conjuntos de dados de regressão tabular, rotulados por especialistas, focado especificamente em problemas de engenharia.
2. Quantificação da Lacuna de Domínio: Evidência empírica de que dados sintéticos procedurais padrão são altamente distinguíveis de dados reais de engenharia, mas que uma subseleção inteligente pode reduzir essa lacuna.
3. Método de Adaptação sem Dados Reais: Uma pipeline de adaptação de domínio que utiliza embeddings de conjuntos de dados para curar dados sintéticos, permitindo o ajuste fino de modelos fundamentais sem acesso a dados reais do domínio alvo.
4. Evidência de Viabilidade: Demonstração de que a curadoria principista de dados sintéticos pode transformar geradores procedurais em "motores de dados" relevantes para o domínio, mitigando a escassez de dados em ciências e indústria.

5. Significado e Impacto

Este trabalho oferece uma solução promissora para um dos maiores gargalos da IA na engenharia: a falta de grandes conjuntos de dados rotulados. Ao demonstrar que é possível melhorar drasticamente o desempenho de modelos fundamentais em tarefas de engenharia sem coletar novos dados reais, o estudo abre caminho para:

• Modelos Fundamentais de Engenharia: A viabilidade de criar sistemas reutilizáveis que generalizam entre diferentes problemas de design, em vez de modelos isolados.
• Redução de Custos: Diminuição da necessidade de simulações caras ou experimentos físicos extensivos para treinar modelos preditivos.
• Nova Abordagem de Dados: A mudança de paradigma de "coletar mais dados" para "curar melhor os dados sintéticos existentes" através de representações de embeddings.

Em suma, o artigo prova que a combinação de modelos fundamentais modernos com técnicas avançadas de curadoria de dados sintéticos pode superar as limitações de dados em domínios científicos e industriais complexos.