LLM-Driven Reasoning for Constraint-Aware Feature Selection in Industrial Systems

1. El Problema

En los sistemas de aprendizaje automático a gran escala de la industria (como sistemas de recomendación y notificaciones), la selección de características es un paso crítico que afecta directamente la precisión, eficiencia y mantenibilidad del modelo. Sin embargo, los enfoques tradicionales enfrentan limitaciones significativas en entornos de producción:

• Dependencia de datos etiquetados: Los métodos clásicos (filtros, envoltorios o incrustados) requieren grandes volúmenes de datos etiquetados para calcular estadísticas o entrenar modelos iterativos, los cuales a menudo son escasos en escenarios reales.
• Ignorancia del contexto semántico: Los métodos tradicionales se basan puramente en correlaciones numéricas o importancia estadística, ignorando el significado semántico, las definiciones de las características y los metadatos operativos.
• Restricciones operativas: En la industria, no solo importa la precisión predictiva; existen restricciones de negocio como límites de capacidad, dependencias entre equipos de ingeniería (grupos de características) y requisitos de mantenibilidad que los métodos estadísticos estándar no pueden satisfacer fácilmente.

2. Metodología: Model Feature Agent (MoFA)

Para abordar estos desafíos, los autores proponen MoFA, un marco impulsado por Modelos de Lenguaje Grande (LLM) que trata la selección de características como un proceso de razonamiento secuencial.

Componentes Clave del Flujo de Trabajo:

1. Representación de Características: Cada característica se define como una tupla que incluye su nombre, descripción textual, metadatos cuantitativos (puntuaciones de importancia, correlaciones) y restricciones operativas (grupos, tipos).
2. Formulación del Problema: El objetivo es seleccionar un subconjunto $S^*$ que maximice una función objetivo $O$ (rendimiento del modelo) sujeto a restricciones $C$ (límites de capacidad, agrupación, etc.).
3. Estrategia "Dividir y Conquistar" (Scalability): Dado que los sistemas industriales pueden tener miles de características (excediendo la ventana de contexto del LLM), MoFA utiliza un enfoque de dos fases:
   • Fase 1 (Selección Paralela por Cubetas): El conjunto de características se divide en $B$ cubetas disjuntas. Un agente LLM realiza una selección secuencial dentro de cada cubeta para identificar subconjuntos candidatos locales.
   • Fase 2 (Síntesis y Refinamiento Global): Los subconjuntos candidatos se fusionan en un pool unificado. El agente LLM realiza una última ronda de razonamiento secuencial sobre este pool refinado para seleccionar el tamaño final objetivo $K$, permitiendo que el modelo evalúe dependencias y redundancias globales.
4. Prompting Estructurado: En cada paso de selección, el LLM recibe un prompt estructurado con el objetivo de la tarea, las características actuales, las candidatas y las restricciones. El modelo genera una respuesta en dos partes:
   • Razonamiento: Una explicación en lenguaje natural de por qué se elige una característica.
   • Selección: La característica específica elegida.

3. Contribuciones Clave

• Nuevo Paradigma de Selección: Transición de métodos puramente estadísticos a un enfoque basado en razonamiento semántico y cuantitativo que aprovecha el conocimiento del dominio y los metadatos disponibles en producción.
• Conciencia de Restricciones: Capacidad única para integrar requisitos operativos (como la consolidación de grupos de características para reducir la carga de mantenimiento) directamente en el proceso de decisión del modelo.
• Escalabilidad Industrial: La arquitectura "Dividir y Conquistar" permite aplicar LLMs a espacios de características masivos (miles de características) sin violar las limitaciones de la ventana de contexto.
• Interpretabilidad: A diferencia de los métodos de "caja negra", MoFA proporciona justificaciones lingüísticas para cada característica seleccionada, facilitando la auditoría y la confianza de los ingenieros.

4. Resultados Experimentales

El marco MoFA se evaluó en tres casos de uso reales de la industria de Meta:

A. Predicción de Interés Real y Valor del Tiempo (True Interest & Time-Worthiness)

• Tarea: Predecir si un contenido refleja el interés real del usuario y si vale su tiempo.
• Resultados:
  • Precisión: MoFA superó a la regresión Lasso (línea base estadística) en escenarios con presupuestos de características pequeños (ej. +0.63% en AUC para K=20).
  • Eficiencia Operativa: Logró una reducción drástica en el número de grupos de características necesarios. Por ejemplo, para K=500, redujo los grupos de 187 (Lasso) a 85 (MoFA), una reducción del 54%, disminuyendo significativamente la complejidad de mantenimiento y las dependencias entre equipos.

B. Mejora del Modelo de Valor (Value Model Enhancement)

• Tarea: Identificar términos de interacción de alto orden (ej. $p_{like} \times p_{click}$) para mejorar un modelo de valor lineal.
• Resultados: MoFA identificó automáticamente pares de señales de interacción valiosos que no eran obvios. La incorporación de estos términos en experimentos en línea resultó en mejoras estadísticamente significativas en las sesiones diarias de la aplicación (lifts de 0.055%, 0.048% y 0.018%).

C. Predicción de Comportamiento de Notificaciones

• Tarea: Seleccionar un subconjunto compacto de características para un modelo multi-tarea que predice clics y descarte de notificaciones (de un total de 8,169 características).
• Resultados: Seleccionando 4,000 características, MoFA superó tanto al modelo de producción actual (que usa >7,500 características) como a una selección aleatoria.
  • Mejora en la pérdida de entropía normalizada (NE): +0.065% para probabilidad de clic y +0.198% para probabilidad de descarte frente al modelo de producción.
  • Esto demuestra que MoFA puede encontrar subconjuntos de características de alto valor que mejoran tanto la precisión como la eficiencia de inferencia.

5. Significado y Conclusión

El trabajo demuestra que los LLMs pueden ir más allá de la generación de texto para actuar como agentes de razonamiento efectivos en tareas críticas de ingeniería de ML.

• Puente entre Teoría y Práctica: MoFA cierra la brecha entre la necesidad de interpretabilidad y flexibilidad en la investigación y las restricciones rígidas de los sistemas de producción reales.
• Eficiencia Operativa: Al priorizar la consolidación de características y la reducción de dependencias, el marco no solo mejora la métrica del modelo, sino que reduce la carga técnica y operativa de los equipos de ingeniería.
• Viabilidad: Los resultados confirman que el razonamiento basado en LLM es una herramienta práctica, escalable y superior a los métodos tradicionales en entornos industriales complejos con datos limitados o restricciones de negocio estrictas.

Limitaciones mencionadas: El enfoque secuencial puede ser computacionalmente costoso para selecciones masivas en tiempo real (aunque es viable como paso de preprocesamiento offline) y la naturaleza de búsqueda voraz (greedy) podría pasar por alto combinaciones óptimas de características que solo muestran sinergia cuando se seleccionan juntas.