🤖 machine learning

TopoFE: topology-aware LLM-guided Automated Feature Engineering

TOPOFE es un marco evolutivo multi-isla consciente de la topología que mejora la ingeniería de características automatizada guiada por LLM mediante la integración de exploración especializada por familias, memoria de prompts adaptativa y transferencia de conocimiento guiada por la topología para superar las limitaciones de la generación sin estado y la búsqueda homogénea, descubriendo así programas de características diversos y de alto rendimiento a través de 29 conjuntos de datos tabulares.

Autores originales: Sha Li, Naren Ramakrishnan

Publicado 2026-07-28

📖 5 min de lectura🧠 Análisis profundo

CC0 1.0

Autores originales: Sha Li, Naren Ramakrishnan

Artículo original dedicado al dominio público bajo CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñar a una computadora a tomar decisiones inteligentes, como predecir si un solicitante de un préstamo devolverá su dinero o si un paciente tiene una enfermedad específica. La computadora no comienza con las respuestas; necesita observar una hoja de cálculo de datos brutos —números, categorías y fechas— y descubrir qué patrones son importantes. Este proceso se llama aprendizaje automático (machine learning). Pero aquí está la parte difícil: los datos brutos suelen ser desordenados y difíciles de entender. Al igual que un chef no puede hacer una gran sopa solo con vegetales crudos y sin picar, una computadora a menudo no puede encontrar los mejores patrones a menos que los datos se transformen primero. Esta etapa de transformación se llama ingeniería de características (feature engineering). Es el arte de tomar números brutos y mezclarlos para crear nuevas pistas más inteligentes que ayuden a la computadora a ver la verdad. Durante mucho tiempo, los humanos tuvimos que hacer esto a mano, adivinando qué combinaciones de números podrían ser útiles. Recientemente, hemos comenzado a utilizar programas de computadora superinteligentes llamados Modelos de Lenguaje de Gran Escala (LLM) para ayudar. Piensa en estos LLM como asistentes brillantes y muy cultos que saben mucho sobre matemáticas y ciencia y pueden sugerir nuevas formas de mezclar los datos. Sin embargo, incluso estos asistentes brillantes tienen un problema: a veces se quedan estancados en una rutina, sugiriendo los mismos tipos de mezclas una y otra vez, o olvidan lo que intentaron antes, perdiendo el tiempo en callejones sin salida.

Aquí es donde entra en juego un nuevo marco de trabajo llamado TOPOFE. Los investigadores, Sha Li y Naren Ramakrishnan de Virginia Tech, se dieron cuenta de que el espacio de posibles mezclas de datos es tan vasto y variado que una estrategia de búsqueda uniforme y única no es suficiente. Propusieron un sistema que trata la búsqueda de las mejores pistas de datos como un equipo de exploradores especializados trabajando en diferentes territorios, en lugar de una sola multitud gigante.

En lugar de tener un gran grupo de programas de computadora intentando resolver el problema al mismo tiempo, TOPOFE divide el trabajo en cinco "islas" distintas. Cada isla es un equipo de especialistas enfocado en un tipo específico de truco matemático. Una isla solo observa la aritmética simple, como sumar o multiplicar números. Otra se enfoca en la estadística, como promedios y conteos. Una tercera observa patrones basados en el tiempo, como cómo cambian las ventas durante la última semana. Otra maneja las relaciones entre diferentes grupos, y la última se ocupa de formas curvas y no lineales. Al mantener a estos especialistas separados, el sistema asegura que ningún tipo de truco matemático tome el control y bloquee el descubrimiento de los demás.

Pero la verdadera magia ocurre cuando estas islas hablan entre sí. En los sistemas anteriores, si un equipo se quedaba estancado, simplemente intercambiaban ideas de forma aleatoria con otro equipo, lo que a menudo no ayudaba. TOPOFE es más inteligente. Utiliza un "grafo de topología", que es como un mapa dinámico que aprende qué equipos son mejores para ayudarse entre sí. Si la isla del "Tiempo" se queda estancada, el sistema consulta su mapa y ve que la isla de la "Aritmética" tiene las mejores ideas para ayudarlos. Entonces, activa un evento especial donde los dos equipos combinan sus mejores ideas para crear algo completamente nuevo: una característica "híbrida" que ninguno de los dos equipos podría haber inventado por sí solo. Por ejemplo, podría combinar un promedio basado en el tiempo con una operación de división para crear una nueva pista altamente predictiva.

El sistema también tiene una "memoria" que aprende de sus propios errores. Si un cierto tipo de truco matemático falla constantemente en un conjunto de datos específico, el sistema lo recuerda y deja de sugerirlo, mientras refuerza los trucos que sí están funcionando. Esto sucede sin necesidad de reentrenar el cerebro principal de la computadora, lo que hace que la búsqueda sea increíblemente eficiente.

Los investigadores probaron esta idea en 29 conjuntos de datos del mundo real, que van desde la predicción de enfermedades cardíacas hasta la previsión del alquiler de bicicletas. Encontraron que TOPOFE superó consistentemente a los mejores métodos existentes. No solo encontró mejores respuestas; encontró respuestas más diversas. Mientras que otros métodos a menudo terminaban con un montón de pistas muy similares (redundancia), las islas especializadas y el trabajo en equipo inteligente de TOPOFE produjeron un conjunto de pistas que cubrían más terreno y funcionaban bien con diferentes tipos de modelos de predicción. El estudio sugiere que, al organizar la búsqueda en grupos especializados y comunicantes y permitir que aprendan cuándo intercambiar ideas, podemos desbloquear formas mucho más poderosas de enseñar a las computadoras a comprender nuestros datos. Los resultados demuestran que este enfoque es robusto, funcionando bien incluso cuando el "cerebro" informático subyacente cambia, demostrando que la salsa secreta está en la estructura de la búsqueda misma, no solo en la inteligencia del modelo.

Resumen Técnico: TOPOFE

Planteamiento del Problema

La Ingeniería de Características Automática (AutoFE) para datos tabulares es fundamentalmente un problema de síntesis de programas orientado al descubrimiento de transformaciones predictivas a partir de un espacio de búsqueda exponencialmente grande. Aunque los enfoques recientes basados en Modelos de Lenguaje de Gran Escala (LLM) han expandido la expresividad de la AutoFE más allá de las librerías de operadores predefinidas, sufren tres limitaciones estructurales críticas:

Dinámicas de Búsqueda Homogéneas: Los métodos evolutivos de LLM existentes operan sobre una población única y no diferenciada. Esto causa que la búsqueda colapse hacia un subconjunto estrecho de tipos de transformación (por ejemplo, interacciones aritméticas) una vez que unos pocos motivos de alto rendimiento saturan el búfer de experiencia, dejando sin explorar familias ortogonales (por ejemplo, dinámicas temporales, codificaciones relacionales).
Consulta de LLM Sin Estado: La generación de características carece de memoria persistente de evaluaciones previas. Las propuestas se generan a partir de prompts estáticos sin una adaptación acumulativa a los patrones específicos del conjunto de datos, lo que conduce a sugerencias repetitivas e improductivas.
Estructura de Transferencia Rígida: Cuando se utilizan múltiples poblaciones, la migración es típicamente periódica o aleatoria. No existe un mecanismo principiado para detectar cuándo la búsqueda local se ha estancado o para identificar qué familia de origen es más complementaria para un objetivo estancado, lo que impide el descubrimiento de composiciones complejas entre familias.

Metodología: TOPOFE

TOPOFE (Ingeniería de Características Automática Guiada por LLM con Conciencia de Topología) redefine la AutoFE como una búsqueda evolutiva multi-isla estructurada en forma de grafo. Descompone el espacio de programas de características en "familias de transformación" semánticamente coherentes y coordina su exploración a través de tres componentes principales:

1. Descomposición Multi-Isla (Descomposición de Sesgo Inductivo)

El espacio de programas $\mathcal{P}$ se particiona en $M$ islas dedicadas, cada una asignada a una familia de transformación específica (por ejemplo, interacciones aritméticas, agregados estadísticos, características temporales, codificaciones relacionales, mapas univariantes no lineales).

Estado de la Isla: Cada isla $i$ mantiene una población $\Pi_i$ , un archivo de élite $A_i$ , un historial de aceptación/rechazo $H_i$ y un vector de memoria de prompts $\rho_i$ .
Exploración Especializada: Dentro de cada isla, el LLM realiza operaciones de mutación y cruce condicionadas por el sesgo inductivo específico de la familia y la historia acumulada de la isla, evitando la convergencia prematura hacia un único tipo de transformación.

2. Memoria de Adaptación de Prompts (PAM)

Para abordar la generación sin estado, TOPOFE implementa un mecanismo de memoria ligero por isla que adapta las propuestas del LLM sin actualizaciones de parámetros.

Mecanismo: Después de cada generación, el sistema resume los patrones de programas aceptados y rechazados de una ventana deslizante en una señal de "preferir/evitar" en lenguaje natural ( $\rho_i$ ).
Condicionamiento: Esta señal se inyecta en cada prompt del LLM junto con los metadatos de la tarea y las demostraciones de élite, permitiendo una adaptación acumulativa y específica del conjunto de datos a lo largo de la búsqueda.

3. Transferencia Entre Islas Consciente de la Topología

Para descubrir características que requieren operadores de múltiples familias (por ejemplo, una característica temporal combinada con una razón aritmética), TOPOFE emplea un grafo de topología dirigido y aprendido $G(t)$ .

Detección de Saturación: La transferencia no es periódica, sino que se activa mediante un criterio de saturación. Una isla se considera saturada cuando su mejora marginal sobre una ventana deslizante cae por debajo de un umbral $\epsilon$ , indicando el agotamiento de la búsqueda local.
Enrutamiento Adaptativo: Tras la saturación, el sistema consulta el grafo de topología para seleccionar una isla precursora $j^*$ que maximice la utilidad de transferencia observada empíricamente $w_{j \to i}$ .
Síntesis Híbrida: En lugar de copiar programas, el LLM realiza una síntesis híbrida. Recibe programas tanto de la isla objetivo saturada como de la isla precursora seleccionada como contexto, generando un nuevo programa que compone elementos estructurales de ambas familias.
Aprendizaje de Grafos: Los pesos de las aristas en el grafo de topología se actualizan en línea mediante una media móvil exponencial basada en la ganancia de aptitud (fitness) observada de los eventos de transferencia, aprendiendo un modelo de complementariedad entre familias basado en los datos.

Contribuciones Clave

Formulación Consciente de la Topología: El artículo propone formular la AutoFE como una búsqueda multi-isla estructurada en grafos donde la topología de migración no es fija, sino que se aprende en línea mediante una regla de tipo bandit basada en la utilidad de transferencia empírica.
Transferencia Adaptativa Disparada por Saturación: Un criterio basado en la utilidad activa la transferencia entre islas solo cuando la búsqueda local se ha agotado, junto con una Memoria de Adaptación de Prompts que permite la adaptación acumulativa sin actualizaciones de parámetros.
Marco de Evaluación Principiado: Los autores introducen tres métricas diseñadas específicamente:
- Correlación de Salida Pareada Media (MPOC): Mide la redundancia de las características.
- Rango Efectivo (EffRank): Mide la cobertura del subespacio.
- Puntuación de Especialización del Grafo de Topología (TGSS): Cuantifica el grado en que el grafo de topología adquiere conocimiento de transferencia específico de la tarea.
Validación Empírica: Experimentos extensos en 29 conjuntos de datos tabulares públicos (19 de clasificación, 10 de regresión) demuestran mejoras consistentes sobre los métodos de AutoFE clásicos y basados en LLM de vanguardia.

Resultados

Rendimiento Predictivo: TOPOFE logró el mejor rendimiento en 15 de 19 conjuntos de datos de clasificación y en 9 de 10 de regresión. Las ganancias de rendimiento fueron más pronunciadas en conjuntos de datos que requieren interacciones complejas entre familias (por ejemplo, balance-scale, heart, bike), donde los métodos de población única fallaron en descubrir las características composicionales necesarias.
Robustez: El marco se mantuvo estable a través de diferentes backbones de LLM (Qwen2.5-Coder, Qwen3-8B, GPT-4o-mini) y diferentes predictores downstream (XGBoost, CatBoost, MLP, TabPFN), confirmando que las ganancias son impulsadas por los mecanismos arquitectónicos y no por las capacidades específicas del modelo.
Diversidad de Características: TOPOFE produjo conjuntos de características con significativamente menor redundancia (menor MPOC) y mayor cobertura de subespacio (mayor EffRank) en comparación con las líneas base. Esto se atribuyó al filtro de redundancia explícito y a la capacidad de importar plantillas estructuralmente ortogonales mediante la síntesis híbrida.
Especialización de la Topología: La métrica TGSS confirmó que el grafo de topología aprendió con éxito las vías de transferencia específicas de la tarea. Los conjuntos de datos con valores altos de TGSS (que indican una fuerte preferencia aprendida por transferencias específicas entre familias) se correlacionaron con mayores ganancias de rendimiento sobre las líneas base de una sola familia.

Significado y Reivindicaciones

El artículo afirma que la complementariedad entre familias es una cantidad aprendible y explotable que los métodos de AutoFE existentes dejan sin aprovechar. Al ir más allá de la búsqueda homogénea y el prompting estático, TOPOFE demuestra que:

La descomposición estructurada del espacio de programas preserva la diversidad y evita la convergencia prematura.
La transferencia adaptativa, disparada por la saturación, permite descubrir características composicionales complejas que son inalcanzables para las gramáticas de una sola familia.
El grafo de topología aprendido actúa como un mecanismo principiado para enrutar el flujo de conocimiento precisamente cuando y donde es más valioso.

Los autores concluyen que su enfoque abre direcciones prometedoras para la inducción de esquemas de familia automatizada y la programación de transferencias específicas según el tipo de tarea, estableciendo un nuevo paradigma para la ingeniería de características guiada por LLM que equilibra la explotación especializada con la exploración estructurada.