Constraint-Aware Synthetic Tabular Data Generation via Inter-Column Constraint Discovery with LLM Agents

Na era digital, vastas quantidades de informações estão trancadas em planilhas, registrando tudo, desde horários de voos e solicitações de crédito até estatísticas de basquete e históricos médicos. Quando os dados reais são escassos, sensíveis ou difíceis de compartilhar, pesquisadores e engenheiros recorrem aos dados sintéticos: registros gerados por computador que mimetizam os padrões estatísticos do mundo real. Esses conjuntos de dados artificiais permitem que equipes construam e testem softwares, treinem inteligência artificial e explorem cenários sem arriscar a privacidade ou expor detalhes confidenciais. No entanto, um problema significativo tem assolado este campo há muito tempo. Embora os computadores sejam excelentes em copiar a forma geral dos dados — garantindo que a idade média ou a distribuição de renda pareçam corretas —, eles frequentemente falham em compreender as regras lógicas profundas que vinculam as colunas entre si. Um computador pode gerar um pedido sintético onde um pacote é entregue antes mesmo de ter sido comprado, ou um registro financeiro onde o custo total não corresponde ao preço multiplicado pela quantidade. Esses erros, conhecidos como violações estruturais, fazem com que os dados pareçam reais na superfície, mas desmoronam sob verificações lógicas simples, tornando-os inúteis para análises sérias ou tomada de decisões.

Uma equipe de pesquisadores desenvolveu um novo método para corrigir essa falha, criando um sistema que ensina a inteligência artificial a descobrir e aplicar as regras lógicas ocultas de um conjunto de dados. Em vez de tentar forçar o gerador de dados a seguir regras estritas desde o início, o que muitas vezes distorce os dados ou exige um retreinamento complexo, a abordagem deles atua como uma etapa sofisticada de pós-processamento. O sistema primeiro utiliza modelos de linguagem de grande escala — ferramentas de IA avançadas treinadas em vastas quantidades de texto — para ler as descrições e os registros de amostra do conjunto de dados. Esses modelos atuam como auditores curiosos, propondo hipóteses sobre como diferentes colunas devem se relacionar entre si. Eles podem sugerir que uma data de entrega deve ser sempre posterior a uma data de pedido, ou que um tipo específico de produto só pode ser enviado por certos métodos.

A inovação reside em como essas propostas são testadas e refinadas. Em vez de aceitar cegamente os palpites da IA, o sistema traduz cada ideia em uma instrução estrita e legível por máquina que pode ser verificada contra cada linha dos dados originais. Se uma regra proposta falhar mesmo poucas vezes, o sistema não a descarta imediatamente. Em vez disso, ele mostra à IA os exemplos específicos onde a regra falhou, permitindo que o modelo revise sua hipótese. Esse ciclo de propor, testar e corrigir continua até que o sistema estabeleça um conjunto de regras que se mantenham verdadeiras para todo o conjunto de dados. Os pesquisadores focaram em três tipos principais de relações: equações onde um número é o resultado exato de outros, desigualdades onde um valor deve ser maior ou menor que outro, e dependências lógicas onde a categoria de um item dita as categorias permitidas de outro.

Uma vez que as regras são descobertas e verificadas, o sistema as aplica aos dados sintéticos gerados por qualquer ferramenta padrão. Ele atua como um coordenador, corrigindo erros em uma ordem específica para garantir que a correção de um erro não crie outro. Por exemplo, se uma regra exige que um total seja a soma de duas partes, o sistema primeiro corrige o total com base nas partes e, só então, ajusta as partes para que se encaixem em quaisquer limites mais amplos. Essa sequenciação cuidadosa garante que o conjunto de dados final obedeça a todas as leis descobertas simultaneamente. Em seus experimentos, os pesquisadores testaram esse fluxo de trabalho em sete conjuntos de dados públicos diferentes, variando de registros de voos a consumo de energia da indústria siderúrgica, utilizando quatro tipos diferentes de geradores de dados. Antes da correção, os dados sintéticos frequentemente continham centenas de violações, com alguns conjuntos de dados mostrando que quase todos os registros gerados quebravam pelo menos uma regra. Após o sistema aplicar suas correções, o número de violações caiu para zero para cada regra que podia ser aplicada.

Crucialmente, essa limpeza rigorosa não arruinou a utilidade dos dados. Os pesquisadores mediram o quão bem os dados limpos performavam em tarefas do mundo real, como treinar um modelo para prever risco de crédito ou atrasos de voos. Na maioria dos casos, a utilidade dos dados de fato melhorou e, nos piores casos, a queda de desempenho foi insignificante. O sistema também preservou as características individuais dos dados, garantindo que a distribuição de valores em cada coluna permanecesse fiel ao original. O estudo demonstra que, ao tratar as regras lógicas como um sistema de restrições interativas em vez de verificações isoladas, é possível gerar dados sintéticos que não são apenas estatisticamente semelhantes ao real, mas também estruturalmente sólidos. Esta abordagem oferece um caminho prático para a criação de dados sintéticos confiáveis, garantindo que os registros artificiais usados para treinar nossos sistemas futuros sejam construídos sobre um fundamento de verdade lógica.