SIGMA: SHAP-Guided Implicit-Trajectory Generation for Metadata-Free LLM-Based AutoFE

En el mundo de la ciencia de datos, a menudo se les entregan a las computadoras vastas hojas de cálculo llenas de números para resolver problemas, desde predecir impagos de préstamos hasta diagnosticar enfermedades. Sin embargo, estos números brutos rara vez son suficientes por sí solos. Para obtener los mejores resultados, los expertos deben realizar un proceso llamado ingeniería de características automatizada, que consiste en crear nuevas columnas de datos más inteligentes combinando o transformando las existentes. Imagine a un chef que no solo utiliza los ingredientes de la despensa, sino que inventa nuevas combinaciones de sabores para que un plato sepa mejor. Durante décadas, las computadoras han intentado hacer esto mezclando y combinando números a ciegas, pero este enfoque es lento y a menudo produce resultados confusos. Recientemente, los científicos comenzaron a utilizar modelos de lenguaje extensos —sistemas de inteligencia artificial potentes que pueden razonar y aprender del contexto— para actuar como estos chefs creativos. Se pensaba que estos sistemas de IA eran la clave para desbloquear mejores predicciones, pero enfrentaban un obstáculo importante: generalmente necesitaban descripciones detalladas de lo que significaba cada número para funcionar correctamente. En el mundo real, tales descripciones suelen faltar debido a reglas de privacidad o simplemente porque los datos provienen de sensores que no hablan el lenguaje humano. Además, cuando estos sistemas de IA intentaban aprender de sus intentos pasados para mejorar los datos, la lista de su historial crecía tanto que abrumaba la memoria de la computadora, causando que el sistema se quedara atrapado en un bucle de repetición de los mismos errores.

Un equipo de investigadores de la Universidad Nacional de Yokohama ha desarrollado un nuevo método llamado SIGMA para resolver estos problemas, permitiendo que la inteligencia artificial realice una ingeniería de mejores datos sin necesidad de descripciones de lo que representan los números. En lugar de depender del lenguaje humano para comprender los datos, SIGMA utiliza una herramienta matemática llamada SHAP para medir cuánto importa realmente cada pieza de información para la predicción final. Piense en esta herramienta como un reflector que resalta los números más importantes y atenúa los menos útiles, dándole a la IA un sentido claro de la dirección sin necesidad de saber cómo se llaman los números. Los investigadores luego agruparon estos números en tres categorías: los más importantes, los moderadamente útiles y los débiles. Le pidieron a la IA que creara nuevas columnas de datos mezclando números dentro de estos grupos o conectando los fuertes con los débiles, enseñando efectivamente al sistema a enfocar su creatividad donde más cuenta.

La innovación más significativa de este trabajo es una técnica que los investigadores llaman "trayectoria implícita de características expuestas". En intentos anteriores, los sistemas de IA mantenían una lista escrita de cada característica que habían creado para evitar duplicados, pero esta lista rápidamente se volvía demasiado larga para caber en la memoria de la computadora. SIGMA adopta un enfoque diferente. En lugar de escribir un historial, simplemente oculta las características que ya han sido utilizadas de la vista de la IA durante un corto tiempo. Si la IA intenta crear una característica utilizando un número que está actualmente oculto, se ve obligada a buscar en otro lugar. Este simple acto de ocultar y revelar actúa como un guía silencioso, alejando a la IA de repetir sus acciones sin necesidad de almacenar un largo registro de historial. Esto permite que el sistema funcione durante períodos mucho más largos, refinando su trabajo a lo largo de muchos pasos sin estancarse por los límites de memoria o quedar atrapado en un ciclo de generación de las mismas características inútiles una y otra vez.

Los resultados de este nuevo enfoque son sorprendentes. Cuando se probó en dieciséis conjuntos de datos del mundo real, SIGMA se desempeñó tan bien como los mejores métodos de IA existentes que dependen de descripciones detalladas, demostrando que el sistema no necesita etiquetas humanas para ser efectivo. Más importante aún, resolvió el problema de la repetición. En sistemas anteriores, casi el treinta y siete por ciento de las características generadas eran duplicados, desperdiciando valiosa potencia de cómputo. Con el método de SIGMA de ocultar las características utilizadas, esa tasa de duplicación cayó drásticamente a menos del siete por ciento. El sistema también demostró ser increíblemente eficiente. Mientras que los métodos tradicionales a menudo generan cientos de nuevas características para encontrar unas pocas buenas, SIGMA logró un rendimiento de primer nivel utilizando un promedio de solo cinco nuevas características por conjunto de datos. Esto significa que el sistema encuentra las mejoras más valiosas rápidamente, dejando el resto de los datos limpios y manejables.

Los investigadores también descubrieron que este método permite a la IA construir estructuras de datos complejas y de múltiples capas que antes estaban fuera de alcance. En algunas pruebas, el sistema logró combinar características en una cadena, utilizando la salida de un paso como la entrada para el siguiente, creando una red profunda de relaciones que mejoró significamente las predicciones. Esta capacidad permitió que SIGMA superara a los métodos antiguos no basados en IA que dependen de reglas rígidas y predefinidas. El estudio confirma que, al reemplazar la necesidad del lenguaje humano con señales matemáticas de importancia y utilizar un ingenioso sistema de ocultar y revelar datos, la inteligencia artificial puede convertirse en una herramienta más poderosa y práctica para mejorar el análisis de datos, incluso en situaciones donde no hay descripciones humanas disponibles.