Resumo Técnico: SemPiper: Síntese de Código Interativa para Operadores Semânticos em Pipelines de Machine Learning

Declaração do Problema

O desenvolvimento de pipelines de machine learning (ML) é caracterizado por uma preparação de dados extensa, repetitiva e propensa a erros, além de engenharia de atributos e integração entre fontes heterogêneas (ex: data lakes, data warehouses, arquivos de log). Embora os Grandes Modelos de Linguagem (LLMs) tenham mostrado promessa na síntese de código, as atuais interfaces baseadas em chat oferecem controle limitado sobre o comportamento do pipeline. Elas frequentemente produzem códigos que são difíceis de otimizar, integrar em sistemas de produção ou verificar quanto à segurança. Além disso, depender de LLMs para cada etapa de inferência em um pipeline é computacionalmente caro e introduz latência. O desafio central é integrar a flexibilidade dos LLMs para tarefas de alto nível centradas em dados, mantendo o determinismo, a otimizabilidade e a eficiência exigidos por pipelines padrão de ML.

Metodologia: O Framework SemPipes

O artigo apresenta o SemPipes, um modelo de programação que estende pipelines de ML tabulares padrão com Operadores de Dados Semânticos (SemOps). Estes são operadores declarativos, impulsionados por LLM, que permitem aos desenvolvedores especificar instruções de linguagem natural de alto nível para operações centradas em dados, enquanto o sistema sintetiza implementações concretas em Python.

Arquitetura Central

1. Interface Declarativa: Os pipelines SemPipes são escritos em Python utilizando bibliotecas padrão de ciência de dados (pandas, NumPy, scikit-learn, skrub). Os desenvolvedores delegam seletivamente operações específicas aos SemOps fornecendo instruções em linguagem natural (ex: "Normalizar para o padrão ISO-3166").
2. Síntese em Tempo de Treinamento: Ao contrário de sistemas que dependem de LLMs durante a inferência, o SemPipes sintetiza implementações especializadas de operadores apenas durante o tempo de treinamento do pipeline.
   • A síntese é condicionada a três fatores: características do conjunto de dados, instruções de linguagem natural do usuário e o contexto do pipeline (tarefa downstream e tipo de modelo).
   • O sistema gera código Python específico (ex: operações pandas, chamadas para modelos pré-treinados como HuggingFace transformers) com base nessas condições.
   • Esta abordagem limita o uso de LLM a um número de chamadas proporcional ao número de operadores semânticos, eliminando a dependência de LLM durante a inferência.
3. Estratégias de Geração de Código:
   • Para geração de atributos (features), o SemPipes produz código pandas baseado em CPU.
   • Para extração multimodal, os SemOps utilizam modelos pré-treinados em GPUs locais (ex: classificação zero-shot ou visual question answering).
4. Validação e Segurança: O código sintetizado passa por validação específica do operador, incluindo verificação de sintaxe e execução em amostras de dados para verificar restrições de saída (ex: formato do dataframe).

Otimização via Busca Evolutiva

O SemPipes automatiza o refinamento iterativo das operações de dados. Uma vez definido um pipeline, o sistema emprega um procedimento de busca evolutiva (ex: Monte Carlo Tree Search) para otimizar o código do operador sintetizado:

• Mutação: O sistema gera implementações candidatas mutando o código atual usando prompting reflexivo, guiado por pontuações de desempenho anteriores e uma memória estruturada em árvore.
• Função de Aptidão (Fitness): A busca avalia as candidatas com base no seu impacto no desempenho do modelo downstream em um conjunto de validação.
• Seleção: Variantes melhoradas são selecionadas para refinar o pipeline, automatizando efetivamente o processo manual de reescrita de código de engenharia de atributos.

Contribuições Principais e Demonstração (SemPiper)

O artigo apresenta o SemPiper, uma interface de demonstração interativa que visualiza o fluxo de trabalho do SemPipes. O sistema é demonstrado através de três cenários de ponta a ponta:

1. Detecção de Fraude em E-commerce:

   • Tarefa: Classificação binária de cestas de compras fraudulentas utilizando dados de varejo de múltiplas tabelas.
   • SemOps: sem_fillna (imputação de fabricantes ausentes via inferência), sem_extract_features (derivação de scores de risco de marca a partir de texto), sem_gen_features (síntese de novos atributos) e sem_agg_features (agregação de dados de produtos ao nível da cesta).
   • Síntese: O sistema selecionou um KNNImputer não paramétrico para valores ausentes e utilizou modelos de classificação zero-shot para a pontuação de risco de marca.

2. Análise Multimodal de Catálogo de Museus:

   • Tarefa: Predição da origem cultural de obras de arte utilizando metadados tabulares e descrições de texto não estruturadas.
   • SemOps: sem_extract_features (conversão de strings temporais heterogêneas para representações temporais estruturadas), sem_gen_features (enriquecimento de dados com comprimento de texto e atributos temporais) e sem_refine (padronização de nomes de objetos ruidosos).
   • Síntese: Combinou modelos HuggingFace com parsing baseado em regras e expressões regulares para extrair campos JSON estruturados a partir de texto bruto.

3. Predição de Preços de Imóveis:

   • Tarefa: Regressão para prever preços de casas na Califórnia utilizando dados tabulares e imagens de casas.
   • SemOps: sem_clean (detecção e correção de anomalias em metragem quadrada), sem_extract_features (derivação de atributos externos a partir de imagens) e sem_gen_features (síntese de atributos ao nível de propriedade e localização).
   • Síntese: Utilizou modelos de visual question answering (ex: Salesforce/blip-vqa-base) para extrair atributos semânticos de imagem e aplicou capping baseado em IQR para remoção de outliers.

Resultados e Observações

A demonstração destaca a capacidade do sistema de:

• Sintetizar Código Consciente de Contexto: Gerar implementações específicas (ex: seleção de modelos pré-treinados específicos ou métodos estatísticos) com base nos dados de entrada e instruções.
• Visualizar Trajetórias de Otimização: A interface exibe a árvore de busca evolutiva, permitindo que os usuários rastreiem como as implementações candidatas evoluem, seu desempenho de validação e as mutações de código específicas que levaram a melhorias.
• Melhorar o Desempenho: No cenário de predição de preços de casas, o otimizador refinou com sucesso a extração de atributos, movendo-se de atributos grosseiros (ex: has_visible_garage) para atributos semanticamente ricos (ex: architectural_style, landscape_quality), o que correlacionou com um melhor desempenho do modelo downstream.

Significância e Alegações

O artigo afirma que o SemPipes oferece uma integração de LLMs no desenvolvimento de pipelines de ML que é controlável, otimizável e prática. Sua significância reside em:

• Preencher a Lacuna: Ele vai além do coding grosseiro via chat para um modelo declarativo onde os LLMs atuam como operadores de dados especializados e conscientes do contexto dentro de um ecossistema Python padrão.
• Eficiência: Ao sintetizar código em tempo de treinamento em vez de depender de LLMs durante a inferência, evita a latência e o custo associados à invocação contínua de LLMs.
• Desenvolvimento Iterativo: Permite a construção de pipelines semi-automatizada onde os desenvolvedores definem a intenção de alto nível, enquanto o sistema lida com a implementação concreta e subsequente otimização via busca evolutiva.
• Transparência: Diferente da geração "caixa-preta" de LLMs, o SemPipes expõe o código gerado, os grafos computacionais e os caminhos de otimização, permitindo que os desenvolvedores inspecionem, modifiquem e compreendam as transformações de dados.

Os autores posicionam o SemPipes como um passo para tornar a preparação de dados menos tediosa e mais amigável à engenharia, aproveitando os LLMs para o "quê" (intenção), enquanto retêm o controle humano e algorítmico sobre o "como" (execução e otimização).