🤖 machine learning

LLM-FE: Automated Feature Engineering for Tabular Data with LLMs as Evolutionary Optimizers

Este artículo presenta LLM-FE, un marco novedoso que combina la búsqueda evolutiva con Modelos de Lenguaje de Gran Escala para descubrir de forma iterativa programas efectivos de transformación de características para datos tabulares, superando así los métodos existentes de ingeniería automática de características al aprovechar mejor el conocimiento del dominio y la retroalimentación basada en datos.

Autores originales: Nikhil Abhyankar, Parshin Shojaee, Chandan K. Reddy

Publicado 2026-05-12

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Nikhil Abhyankar, Parshin Shojaee, Chandan K. Reddy

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres un detective tratando de resolver un misterio usando una pila de pistas (datos). Por lo general, tienes que tamizar manualmente estas pistas, combinarlas de formas ingeniosas y crear nuevas "super-pistas" para ayudarte a resolver el caso más rápido. Este proceso se llama Ingeniería de Características. En el mundo del aprendizaje automático, hacer esto manualmente es lento, aburrido y requiere que un experto humano sepa exactamente qué combinaciones de pistas podrían funcionar.

El artículo presenta una nueva herramienta llamada LLM-FE que automatiza este trabajo de detective utilizando una IA "superinteligente" (un Modelo de Lenguaje Grande) que actúa como un socio creativo.

Así es como funciona, desglosado en conceptos simples:

1. El Problema: El "Juego de Adivinanzas"

Las herramientas automatizadas tradicionales intentan resolver esto mezclando y combinando ciegamente números (como sumar la Columna A a la Columna B) basándose en una lista fija de reglas. Son como un robot que solo sabe girar a la izquierda o a la derecha, sin darse cuenta de que a veces necesitas saltar una valla. A menudo se pierden los momentos "¡eureka!" que surgen de entender la historia detrás de los datos (como saber que la "insulina" y la "glucosa" están relacionadas con la diabetes).

2. La Solución: El "Chef Evolutivo"

Los autores proponen LLM-FE, que trata la ingeniería de características como un concurso de cocina donde la IA es el chef. En lugar de simplemente seguir una receta, a la IA se le proporciona:

Los Ingredientes: Los datos crudos (por ejemplo, edad del paciente, niveles de azúcar en la sangre).
El Menú: El problema específico a resolver (por ejemplo, "predecir si un paciente tiene diabetes").
El Libro de Recetas: El conocimiento interno propio de la IA sobre el mundo (por ejemplo, "sé que el azúcar alto y la insulina baja son malos para la salud").

3. Cómo Funciona: El Bucle de Cuatro Pasos

El artículo describe un ciclo que se repite una y otra vez, similar a cómo la naturaleza evoluciona especies para sobrevivir mejor:

Paso A: La Chispa Creativa (Generación)
La IA examina los datos y el problema. Dice: "Hmm, si divido el nivel de insulina por el nivel de glucosa, eso podría decirnos algo sobre cómo el cuerpo procesa el azúcar". Escribe un pequeño programa informático (una receta) para crear esta nueva "super-pista".
- Analogía: El chef inventa una nueva salsa basada en los ingredientes y el plato que intenta preparar.
Paso B: La Prueba de Sabor (Evaluación)
La nueva receta se aplica a los datos. Luego, un modelo de predicción (una prueba simple) intenta resolver el problema usando estos nuevos datos.
- Analogía: El chef sirve la nueva salsa a un juez. Si al juez le gusta (la puntuación sube), la receta es buena. Si no, se descarta.
Paso C: El Banco de Memoria (Gestión de la Experiencia)
Este es el secreto de LLM-FE. El sistema no simplemente olvida las recetas fallidas. Mantiene un "Salón de la Fama" de las mejores recetas que ha creado.
- Analogía: Imagina un chef que mantiene un cuaderno con sus 10 mejores platos. Cuando necesita inventar un nuevo plato, no empieza desde cero; mira sus mejores platos pasados y dice: "¿Y si tomo la mejor parte del Plato #3 y la mezclo con la mejor parte del Plato #7?".
Paso D: La Evolución (Refinamiento)
La IA utiliza el "Salón de la Fama" para crear versiones aún mejores de las recetas. Intenta "mutar" (cambiar ligeramente) las mejores recetas para ver si pueden mejorar aún más.
- Analogía: Esto es como la selección natural. Las recetas más fuertes y sabrosas sobreviven y evolucionan, mientras que las débiles desaparecen.

4. Por Qué Es Mejor Que El Resto

El artículo compara LLM-FE con otros métodos y descubre que gana por tres razones principales:

Conoce el Contexto: A diferencia de otros robots que solo hacen matemáticas, esta IA entiende qué significan los datos. Sabe que "Edad" e "IMC" están relacionados con la salud, por lo que crea características que tienen sentido para los humanos, no solo números.
No Se Queda Atascado: Otros métodos a menudo se quedan atascados tratando de mejorar una sola idea. LLM-FE ejecuta múltiples "islas" de ideas al mismo tiempo. Si una isla se queda atascada en un callejón sin salida, otra isla podría encontrar un atajo.
Aprende de los Errores: Al mantener un registro de lo que funcionó antes, se vuelve más inteligente con cada intento, en lugar de simplemente adivinar al azar.

5. Los Resultados

Los investigadores probaron esto en muchos conjuntos de datos diferentes (como predecir enfermedades cardíacas, precios de viviendas y ventas de automóviles). Descubrieron que LLM-FE hizo consistentemente que los modelos de predicción fueran más precisos que los métodos antiguos. No solo funcionó con un tipo de IA; ayudó a diferentes tipos de modelos a mejorar en sus trabajos.

En resumen: LLM-FE es un sistema que utiliza una IA inteligente para inventar nuevas y significativas formas de observar los datos. Actúa como un chef creativo que aprende de sus mejores platos pasados, utiliza su conocimiento del mundo y experimenta constantemente hasta encontrar la receta perfecta para resolver un problema.

Resumen Técnico: LLM-FE: Ingeniería Automática de Características para Datos Tabulares con LLMs como Optimizadores Evolutivos

Declaración del Problema

La ingeniería de características es un componente crítico, aunque laborioso, del flujo de trabajo de aprendizaje automático para datos tabulares. Si bien las características bien diseñadas pueden mejorar significativamente el rendimiento de los modelos basados en árboles (a menudo superando a los enfoques de aprendizaje profundo en datos estructurados), el proceso de explorar el vasto espacio combinatorio de transformaciones de características es lento y consume muchos recursos. Los métodos tradicionales de ingeniería automática de características dependen de espacios de búsqueda predefinidos y diseñados manualmente, junto con transformaciones fijas, lo que a menudo impide incorporar conocimientos valiosos del dominio. Por el contrario, los enfoques recientes basados en Modelos de Lenguaje Grande (LLM) intentan integrar conocimientos del dominio, pero generalmente dependen de la generación de prompts directos o puntuaciones de validación simples. Estos métodos existentes basados en LLM a menudo no aprovechan los conocimientos de experimentos de descubrimiento previos, carecen de un razonamiento significativo entre la generación de características y el rendimiento basado en datos, y tienden a generar características simples y repetitivas debido a sesgos inherentes en el preentrenamiento de los LLM.

Metodología: El Marco LLM-FE

Los autores proponen LLM-FE, un marco novedoso que formula la ingeniería de características como un problema de búsqueda de programas, combinando los conocimientos del dominio y las capacidades de razonamiento de los LLM con la búsqueda evolutiva y la retroalimentación basada en datos. El marco opera como un bucle iterativo compuesto por cuatro etapas principales:

Generación de Nuevas Características (Prompting):
El LLM actúa como un optimizador evolutivo guiado por conocimientos. Recibe un prompt estructurado que contiene:
- Descripción de la Tarea y Metadatos: Detalles específicos sobre la tarea de destino y descripciones de características.
- Muestras de Datos: Ejemplos serializados del conjunto de datos para proporcionar contexto.
- Función de Evaluación: Un fragmento de código que define cómo se mide la calidad de la característica (entrenar un modelo y puntuar en un conjunto de validación).
- Demostraciones en Contexto: Una selección de programas de transformación de características de alto rendimiento de iteraciones anteriores.
  Se instruye explícitamente al LLM para que genere programas complejos y novedosos de transformación de características (código Python) en lugar de aritmética simple, aprovechando sus conocimientos del dominio incrustados para razonar sobre la relevancia de las características.
Ingeniería de Características (Ejecución):
Los programas de Python generados se ejecutan en el conjunto de datos subyacente. Este paso aplica las transformaciones propuestas para crear un conjunto de datos aumentado. Para garantizar la robustez, el sistema impone límites de tiempo de ejecución y memoria, descartando programas propensos a errores o ineficientes.
Evaluación de Características (Retroalimentación Basada en Datos):
El conjunto de datos aumentado se utiliza para entrenar un modelo de predicción de destino (por ejemplo, XGBoost, MLP, TabPFN). El rendimiento del modelo en un conjunto de validación retenido sirve como puntuación de aptitud para el programa de transformación de características. Esta puntuación proporciona la retroalimentación basada en datos necesaria para guiar la búsqueda.
Gestión de la Experiencia (Búsqueda Evolutiva):
Para evitar óptimos locales y mantener la diversidad, LLM-FE emplea un modelo de "islas" de múltiples poblaciones.
- Memoria de Múltiples Islas: El espacio de búsqueda se divide en $m$ islas independientes. Cada isla mantiene un búfer de programas de alta puntuación.
- Agrupación y Muestreo: Los programas dentro de una isla se agrupan en función de sus puntuaciones de validación. El sistema utiliza muestreo de Boltzmann para seleccionar grupos para los ejemplos en contexto, equilibrando la exploración (grupos de menor puntuación) y la explotación (grupos de mayor puntuación).
- Refinamiento Iterativo: En cada iteración, el LLM muestrea desde el búfer de memoria para generar nuevos candidatos, realizando efectivamente mutación y cruce implícitos a través de la generación condicionada por el prompt.

Contribuciones Clave

El artículo describe tres contribuciones principales:

Marco Novel: La introducción de LLM-FE, que plantea la ingeniería de características como un problema de optimización evolutiva guiado por LLM. Integra de manera única conocimientos del dominio, evaluación basada en datos y memoria a largo plazo para el refinamiento iterativo.
Efectividad Empírica: Los resultados experimentales demuestran que LLM-FE supera consistentemente a las líneas base más avanzadas (tanto métodos clásicos como OpenFE/AutoFeat como métodos basados en LLM como CAAFE/FeatLLM) en diversos conjuntos de datos tabulares, tareas y modelos de predicción.
Análisis de Componentes: A través de estudios de ablación exhaustivos, los autores destacan los roles críticos de los conocimientos del dominio, la búsqueda evolutiva, la retroalimentación basada en datos y las muestras de datos para guiar al LLM a explorar eficientemente el espacio de características y descubrir características impactantes.

Resultados Experimentales

Los autores evaluaron LLM-FE utilizando GPT-3.5-Turbo y Llama-3.1-8B-Instruct como bases en 19 conjuntos de datos de clasificación y 10 de regresión. El marco se probó contra líneas base utilizando XGBoost, MLP y TabPFN como predictores de destino.

Rendimiento: LLM-FE logró la puntuación media más baja (lo que indica el mejor rendimiento general) en tareas de clasificación y regresión. Mejoró consistentemente el rendimiento predictivo sobre las líneas base de datos crudos y otros métodos de ingeniería de características.
Generalizabilidad: El marco demostró robustez en diferentes bases de LLM y arquitecturas de modelos de predicción. Las características generadas por LLM-FE mejoraron el rendimiento de modelos basados en árboles, redes neuronales y modelos tabulares basados en transformadores.
Complejidad y Mitigación de Sesgos: A diferencia de la generación de prompts ingenua con LLM, que tiende a favorecer operadores simples (suma, resta), el refinamiento evolutivo en LLM-FE descubrió con éxito transformaciones complejas (por ejemplo, agregaciones de grupo, residuos, funciones sigmoide). Aproximadamente el 45% de las características descubiertas se clasificaron como complejas, en comparación con cantidades insignificantes en los métodos base de LLM.
Eficiencia: Un análisis de Pareto del rendimiento frente al tiempo de ejecución mostró que LLM-FE se encuentra en la frontera de Pareto, logrando una mayor precisión que competidores como CAAFE y OCTree con costos computacionales comparables o inferiores.
Estudios de Ablación: Eliminar los conocimientos del dominio causó una caída significativa en el rendimiento (de ~0.687 a ~0.626 de precisión), subrayando su importancia. De manera similar, eliminar el refinamiento evolutivo condujo al mayor declive (a ~0.587), destacando la necesidad de retroalimentación iterativa basada en datos.
Memorización: Los experimentos en conjuntos de datos publicados después de las fechas de corte de entrenamiento del LLM mostraron que LLM-FE proporcionó ganancias modestas y consistentes, lo que sugiere que las mejoras provienen de un razonamiento genuino y una selección evolutiva en lugar de la memorización de datos.

Significado y Afirmaciones

El artículo posiciona a LLM-FE como un paso significativo hacia adelante en la automatización del pipeline centrado en datos. Su importancia radica en cerrar la brecha entre el razonamiento informado por el dominio y la optimización. Al tratar al LLM no solo como un generador, sino como un optimizador evolutivo, el marco supera las limitaciones de los espacios de búsqueda estáticos y el sesgo hacia características simples inherente a la generación de prompts directos.

Los autores afirman que LLM-FE ofrece una solución robusta y generalizable para el aprendizaje tabular que reduce el esfuerzo manual mientras mejora el rendimiento predictivo. Enfatizan que el marco está diseñado para complementar, no reemplazar, a los expertos del dominio, proporcionando características interpretables y guiadas por hipótesis que pueden ser revisadas y validadas. El trabajo sugiere que combinar LLMs con mecanismos de búsqueda evolutiva es un camino viable hacia el descubrimiento de características de alta calidad e interpretables que son difíciles de ingenierar manualmente.