Resumen Técnico: CoFEH

Enunciado del Problema

La Ingeniería de Características (FE) es una piedra angular de los flujos de trabajo de aprendizaje automático, pero sigue siendo un cuello de botella para los métodos automatizados tradicionales. Los enfoques existentes sufren tres limitaciones fundamentales:

1. Agnosticismo Semántico: Dependen de espacios de búsqueda rígidos y predefinidos, así como de ensayo y error, sin aprovechar los conocimientos previos del dominio.
2. Topología Rígida: Imponen secuencias fijas de flujos de trabajo (por ejemplo, generación seguida de selección), lo que impide la intercalación dinámica o la composición flexible de operaciones heterogéneas.
3. Conjunto de Operaciones Restringido: Se limitan a bibliotecas cerradas de algoritmos integrados o aritmética básica, siendo incapaces de descubrir operaciones específicas de la tarea más allá de los primitivos predefinidos.

Además, aunque los Modelos de Lenguaje Grandes (LLM) ofrecen una alternativa prometedora para generar operadores semánticamente fundamentados e ilimitados, los métodos actuales de FE basados en LLM se centran típicamente en subtareas aisladas (como la generación de características) y no logran construir flujos de trabajo de forma libre. Crucialmente, estos métodos rara vez acoplan la FE con la Optimización de Hiperparámetros (HPO) del modelo aguas abajo. Esto conduce a un flujo de trabajo secuencial "codicioso" (FE luego HPO) que ignora la fuerte dependencia entre la representación de características y la capacidad del modelo, atrapando a menudo al sistema en mínimos locales subóptimos.

Metodología: Marco de Trabajo CoFEH

Los autores proponen CoFEH (Ingeniería de Características Colaborativa y Optimización de Hiperparámetros), un marco diseñado para intercalar la FE impulsada por LLM y la HPO Bayesiana para un AutoML robusto de extremo a extremo. El sistema consta de tres componentes principales:

1. Optimizador de FE de Árbol de Pensamiento (ToT) Impulsado por LLM

Para abordar el desafío de la FE de forma libre, CoFEH reformula la construcción del flujo de trabajo como un problema de toma de decisiones secuenciales resuelto mediante Búsqueda en Árbol de Monte Carlo (MCTS).

• Representación del Estado: El conjunto de datos en cualquier etapa de transformación se trata como un nodo de estado en un árbol de búsqueda.
• Razonamiento Dirigible: El LLM genera nuevas operaciones de FE basadas en un prompt estructurado que contiene metadatos del conjunto de datos, el flujo de trabajo ancestral y una directiva dinámica ($d$):
  • Inicialización: Genera operaciones iniciales de alta calidad para el nodo raíz.
  • Exploración: Propone operaciones novedosas para sondear regiones desconocidas del espacio de búsqueda.
  • Explotación: Refina el estado actual reutilizando y adaptando operaciones históricas de alto rendimiento.
• Memoria Global: Un mecanismo de recuperación basado en Pareto archiva operaciones exitosas (cadenas de razonamiento, subconjuntos de características, puntuaciones y ganancias relativas) para guiar al LLM durante la fase de Explotación.

2. Mecanismo de Condicionamiento Mutuo

Para resolver el desafío de la FE–HPO Colaborativa, CoFEH establece un flujo de información bidireccional entre el LLM (FE) y la Optimización Bayesiana (BO) (HPO), evitando el ajuste aislado.

• HPO Condicionada a FE: El modelo sustituto de la BO utiliza meta-características ($\phi(s)$) extraídas del estado del conjunto de datos para caracterizar el flujo de trabajo de FE. Esto permite a la BO modelar la influencia conjunta del flujo de trabajo y los hiperparámetros, recomendando la configuración óptima ($\lambda^*$) para un estado específico del conjunto de datos ($s^*$).
• FE Condicionada a HPO: Las fases de selección y simulación del MCTS se informan mediante los resultados de la HPO. La métrica de "mejor rendimiento" para un nodo se determina por los hiperparámetros óptimos encontrados para ese estado específico del conjunto de datos, asegurando que el LLM evalúe la calidad de las características bajo configuraciones de modelo óptimas en lugar de configuraciones predeterminadas.

3. Selector de Optimizador Dinámico

Para abordar la planificación adaptativa a la tarea, CoFEH modela la asignación del presupuesto de optimización entre FE y HPO como un problema de Bandido de Muchos Brazos (MAB) utilizando una política de Límite Superior de Confianza del Predictor (PUCB).

• El selector decide dinámicamente si ejecutar un paso de FE o un paso de HPO en cada iteración basándose en las tasas de éxito empíricas ($Q(a)$) y los pesos previos que varían en el tiempo ($\omega_a$).
• Programación de Pesos Previos: El sistema comienza con un sesgo hacia la FE (para asegurar que los datos estén "listos para el modelo") y decae linealmente este sesgo hacia un equilibrio 50/50 a medida que se agota el presupuesto. Esto garantiza una distribución equilibrada del presupuesto en escenarios neutrales, permitiendo que las recompensas empíricas específicas de la tarea guíen la asignación en la práctica.

Contribuciones Clave

1. Optimización de Flujos de Trabajo de Forma Libre: Un optimizador ToT impulsado por LLM que explora topologías y operadores de flujos de trabajo sin restricciones, permitiendo una ingeniería de características verdaderamente de forma libre que compone preprocesamiento, transformación, generación y selección dinámicamente.
2. Mecanismo de Condicionamiento Mutuo: Un acoplamiento bidireccional novedoso donde la FE y la HPO informan las decisiones de la otra, evitando la "miopía codiciosa" de la optimización secuencial y permitiendo el descubrimiento de óptimos globales en el espacio conjunto.
3. Asignación Dinámica de Recursos: Un selector basado en PUCB que asigna adaptativamente el presupuesto computacional entre FE y HPO según la utilidad específica de cada uno para la tarea dada.
4. Validación Empírica: Experimentos extensos que demuestran que CoFEH supera tanto a los sistemas tradicionales de AutoML como a las líneas base existentes basadas en LLM.

Resultados Experimentales

Los autores evaluaron CoFEH en 28 conjuntos de datos públicos (19 de clasificación, 9 de regresión) a través de tres escenarios de modelos aguas abajo: XGBoost, MLP y CASH (Selección Combinada de Algoritmos y Optimización de Hiperparámetros).

• FE Independiente: CoFEH logró el mejor rango promedio (1.82) entre todas las líneas base, superando significativamente a los métodos tradicionales (Mindware, OpenFE) y a otros enfoques basados en LLM (OCTree, ELLM, LFG).
• FE+HPO Conjunta: En el entorno de extremo a extremo, CoFEH demostró una reducción del error relativo del 7.03% en comparación con su propio rendimiento de FE independiente, superando a todas las líneas base. Logró un rango promedio de 1.75, estableciendo un nuevo estado del arte.
• Generalización: El marco mostró una generalización robusta a través de diferentes tipos de modelos (MLP, CASH), manteniendo un rendimiento superior y logrando reducciones significativas del error (por ejemplo, una mejora del +45.1% en escenarios CASH).
• Eficiencia de Costos: CoFEH logró el mejor equilibrio entre costo y rendimiento, requiriendo solo ~$0.07 por tarea con el núcleo Gemini-2.0-flash, mientras que los métodos tradicionales intensivos en búsqueda (OpenFE, Mindware) requirieron un tiempo de ejecución significativamente mayor.
• Estudios de Ablación: Eliminar el mecanismo de condicionamiento mutuo o el selector dinámico degradó significativamente el rendimiento, confirmando la necesidad de una gestión de información acoplada y una programación de recursos adaptativa.

Significado y Afirmaciones

El artículo afirma que CoFEH cierra la brecha entre las capacidades de razonamiento semántico de los LLM y la eficiencia numérica de la Optimización Bayesiana. Al alejarse de flujos de trabajo rígidos y secuenciales hacia una estrategia de optimización intercalada y colaborativa, CoFEH supera la "paradoja de la integración de capacidades" donde los LLM sobresalen en FE pero se rezagan en el acoplamiento FE-HPO.

Los autores afirman que CoFEH:

• Desata el potencial completo de los LLM para crear flujos de trabajo de forma libre similares a los de expertos humanos.
• Resuelve el problema de los mínimos locales subóptimos causados por la FE y la HPO desacopladas.
• Proporciona una base escalable y extensible para el trabajo futuro de AutoML que puede adaptarse a datos de imágenes y texto mediante modificaciones de los prompts.

El trabajo se presenta como un paso significativo hacia la optimización holística de flujos de trabajo de ML, donde el descubrimiento de características y el ajuste del modelo se tratan como un proceso unificado y mutuamente reforzante en lugar de etapas aisladas.