SIGMA: SHAP-Guided Implicit-Trajectory Generation for Metadata-Free LLM-Based AutoFE

No mundo da ciência de dados, os computadores frequentemente recebem vastas planilhas repletas de números para resolver problemas, desde a previsão de inadimplência de empréstimos até o diagnóstico de doenças. No entanto, esses números brutos raramente são suficientes por si só. Para obter os melhores resultados, os especialistas devem realizar um processo chamado engenharia de atributos automatizada, que envolve a criação de novas colunas de dados mais inteligentes ao combinar ou transformar as existentes. Imagine um chef que não apenas usa os ingredientes da despensa, mas inventa novas combinações de sabores para fazer um prato ter um gosto melhor. Por décadas, os computadores tentaram fazer isso misturando e combinando números cegamente, mas essa abordagem é lenta e frequentemente produz resultados confusos. Recentemente, cientistas começaram a usar modelos de linguagem de grande escala — sistemas de inteligência artificial poderosos que podem raciocinar e aprender com o contexto — para atuar como esses chefs criativos. Esses sistemas de IA eram vistos como a chave para desbloquear previsões melhores, mas enfrentavam um grande obstáculo: eles geralmente precisavam de descrições detalhadas do que cada número significava para funcionar adequadamente. No mundo real, tais descrições estão frequentemente ausentes devido a regras de privacidade ou simplesmente porque os dados vêm de sensores que não falam a linguagem humana. Além disso, quando esses sistemas de IA tentavam aprender com suas tentativas passadas para melhorar os dados, a lista de seu histórico crescia tanto que sobrecarregava a memória do computador, fazendo com que o sistema ficasse preso em um ciclo de repetição dos mesmos erros.

Uma equipe de pesquisadores da Universidade Nacional de Yokohama desenvolveu um novo método chamado SIGMA para resolver esses problemas, permitindo que a inteligência artificial realize a engenharia de melhores dados sem precisar de nenhuma descrição do que os números representam. Em vez de depender da linguagem humana para entender os dados, o SIGMA usa uma ferramenta matemática chamada SHAP para medir o quanto cada pedaço de informação realmente importa para a previsão final. Pense nesta ferramenta como um holofote que destaca os números mais importantes e atenua os menos úteis, dando à IA um senso claro de direção sem precisar saber o que os números são chamados. Os pesquisadores então agruparam esses números em três categorias: os mais importantes, os moderadamente úteis e os fracos. Eles pediram à IA que criasse novas colunas de dados misturando números dentro desses grupos ou conectando os fortes com os fracos, ensinando efetivamente o sistema a focar sua criatividade onde ela realmente conta.

A inovação mais significativa deste trabalho é uma técnica que os pesquisadores chamam de "trajetória implícita de atributo exposto" (exposed-feature implicit trajectory). Em tentativas anteriores, os sistemas de IA mantinham uma lista escrita de cada atributo que já haviam criado para evitar duplicatas, mas essa lista rapidamente se tornava longa demais para caber na memória do computador. O SIGMA adota uma abordagem diferente. Em vez de escrever um histórico, ele simplesmente esconde os atributos que já foram usados da visão da IA por um curto período de tempo. Se a IA tentar criar um atributo usando um número que está atualmente oculto, ela é forçada a procurar em outro lugar. Esse simples ato de esconder e revelar atua como um guia silencioso, direcionando a IA para longe da repetição de si mesma sem nunca precisar armazenar um longo registro de histórico. Isso permite que o sistema rode por períodos muito mais longos, refinando seu trabalho ao longo de muitas etapas, sem ficar sobrecarregado por limites de memória ou preso em um ciclo de geração dos mesmos atributos inúteis repetidamente.

Os resultados desta nova abordagem são impressionantes. Quando testado em dezesseis conjuntos de dados do mundo real, o SIGMA teve um desempenho tão bom quanto os melhores métodos de IA existentes que dependem de descrições detalhadas, provando que o sistema não precisa de rótulos humanos para ser eficaz. Mais importante, ele resolveu o problema da repetição. Em sistemas anteriores, quase trinta e sete por cento dos atributos gerados eram duplicatas, desperdiçando valiosa capacidade de computação. Com o método de esconder atributos usados do SIGMA, essa taxa de duplicação caiu drasticamente para menos de sete por cento. O sistema também provou ser incrivelmente eficiente. Enquanto métodos tradicionais frequentemente geram centenas de novos atributos para encontrar alguns bons, o SIGMA alcançou um desempenho de alto nível usando uma média de apenas cinco novos atributos por conjunto de dados. Isso significa que o sistema encontra as melhorias mais valiosas rapidamente, deixando o restante dos dados limpo e gerenciável.

Os pesquisadores também descobriram que este método permite que a IA construa estruturas de dados complexas e de múltiplas camadas que eram anteriormente inalcançáveis. Em alguns testes, o sistema conseguiu combinar atributos em uma cadeia, usando a saída de uma etapa como a entrada para a próxima, criando uma rede profunda de relacionamentos que melhorou significamente as previsões. Essa capacidade permitiu que o SIGMA superasse métodos antigos, não baseados em IA, que dependem de regras rígidas e pré-definidas. O estudo confirma que, ao substituir a necessidade de linguagem humana por sinais matemáticos de importância e ao usar um sistema inteligente de esconder e revelar dados, a inteligência artificial pode se tornar uma ferramenta mais poderosa e prática para melhorar a análise de dados, mesmo em situações onde não há descrições humanas disponíveis.