🤖 AI

A Multi-Agent system for Multi-Objective constrained optimization

Este artículo presenta MAMO, un marco de aprendizaje por refuerzo multiagente que aprende de forma autónoma los pesos de recompensa óptimos para equilibrar los objetivos primarios y las violaciones de restricciones en entornos dinámicos, superando así las limitaciones de la selección manual de pesos en los enfoques tradicionales basados en el método de Lagrangiano.

Autores originales: Federica Filippini

Publicado 2026-06-19

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Federica Filippini

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres el gerente de una cafetería concurrida. Tienes dos objetivos principales:

Mantener los costos bajos: No contrates demasiados baristas ni compres demasiada leche, o perderás dinero.
Mantener felices a los clientes: No contrates a muy pocos baristas, o la fila será demasiado larga y la gente se irá enojada (o, en términos técnicos, sus pedidos serán "rechazados").

En el mundo real, el número de clientes cambia constantemente. A veces es una mañana de martes tranquila; otras veces es un caos de viernes por la tarde.

La forma antigua: Adivinar el equilibrio

Tradicionalmente, los sistemas informáticos que intentan resolver este problema utilizan un método llamado "Aprendizaje por Refuerzo" (Reinforcement Learning). Piensa en esto como entrenar a un robot gerente. Para enseñarle al robot, le das una tarjeta de puntuación. Pero aquí está el truco: la tarjeta es un único número creado al mezclar tus dos objetivos.

"Si ahorras dinero, obtienes +10 puntos".
"Si un cliente se va enojado, pierdes -50 puntos".

El problema es: ¿quién decide que -50 es el número correcto? En el método antiguo, un humano tiene que adivinar e introducir manualmente estos números (llamados pesos).

Si adivinas que la penalización es demasiado baja, el robot se vuelve imprudente, ahorra dinero, pero enoja a los clientes.
Si adivinas que la penalización es demasiado alta, el robot se convierte en un manojo de nervios, contratando a 20 baristas para un solo cliente solo para estar seguro, desperdiciando dinero.

En un mundo cambiante (como una cafetería que se vuelve más concurrida en diferentes momentos del día), el número "perfecto" cambia constantemente. Los humanos no pueden seguir el ritmo de escribir nuevos números cada minuto.

La nueva forma: MAMO (El sistema de dos agentes)

El artículo presenta un nuevo sistema llamado MAMO. En lugar de un solo robot gerente adivinando las reglas, MAMO utiliza dos robots trabajando juntos en una jerarquía.

1. El "Hacedor" (Agente de ejecución de tareas)

Este es el robot en el piso. Su trabajo es simple: "Mira la fila, decide cuántos baristas contratar e intenta obtener la mejor puntuación basada en las reglas que te doy". No se preocupa por cuáles son las reglas; simplemente las sigue.

2. El "Entrenador" (Agente de adaptación de pesos)

Este es el robot en la oficina. Nunca toca la máquina de café. Su único trabajo es observar al "Hacedor" y ajustar las reglas.

El Entrenador observa los últimos 300 minutos de servicio.
Ve: "Oye, ahorramos mucho dinero, pero el 10% de los clientes se fue enojado. Eso es demasiado arriesgado".
Entonces, el Entrenador cambia la regla: "Está bien, voy a hacer que la penalización por clientes enojados sea mucho mayor".
Le entrega estas nuevas reglas al "Hacedor".
El "Hacedor" lo intenta de nuevo con las nuevas reglas.

Cómo aprenden juntos

Este sistema funciona en un ciclo, como un entrenador y un atleta:

El Entrenador elige un conjunto de reglas (pesos) y dice: "¡Adelante!".
El Hacedor trabaja durante un tiempo, intentando hacer lo mejor posible con esas reglas.
El Entrenador observa los resultados. ¿Mantuvimos felices a los clientes? ¿Ahorramos dinero?
El Entrenador ajusta ligeramente las reglas y comienza la siguiente ronda.

Con el tiempo, el Entrenador aprende exactamente cómo equilibrar las reglas para que el Hacedor encuentre naturalmente el "punto ideal" sin que el Entrenador tenga que microgestionar cada pedido de café. El sistema descubre el equilibrio perfecto por sí mismo, adaptándose a medida que la "hora pico" cambia.

El experimento

Los investigadores probaron esto en un sistema simulado de "computación de borde" (edge computing), que es básicamente una red de pequeños servidores, como la cafetería.

Intentaron darle al "Hacedor" una regla fija (por ejemplo, "Siempre sé súper cuidadoso"). Falló cuando la carga de trabajo se volvió loca.
Intentaron una regla fija diferente ("Siempre sé barato"). Falló porque los clientes se enojaron.
Con MAMO: El "Entrenador" comenzó con una regla aleatoria. Después de un tiempo, descubrió el equilibrio perfecto. El sistema mantuvo la tasa de "clientes enojados" (tasa de rechazo) justo por debajo del límite (5%) mientras mantenía los costos lo más bajos posible, incluso cuando la carga de trabajo era ruidosa e impredecible.

La conclusión

MAMO es una forma de enseñar a las computadoras cómo realizar compensaciones sin necesidad de que un humano ajuste constantemente la configuración. Separa la acción (hacer el trabajo) de la estrategia (decidir qué es lo más importante), permitiendo que el sistema aprenda el equilibrio perfecto a través de la experiencia, tal como lo haría un gerente experimentado.

Resumen Técnico: MAMO – Un Sistema Multi-Agente para la Optimización de Objetivos Múltiples con Restricciones

1. Planteamiento del Problema

Muchos problemas de toma de decisiones en sistemas de computación y redes, particularmente dentro del Continuo de la Computación (CC), pueden formularse como problemas de minimización de costos sujetos a restricciones de rendimiento (por ejemplo, latencia, rendimiento o presupuestos de recursos). En entornos dinámicos caracterizados por cargas de trabajo fluctuantes y disponibilidad de recursos, el Aprendizaje por Refuerzo (RL) se emplea frecuentemente para resolver estos problemas en tiempo de ejecución.

El enfoque estándar para manejar restricciones en RL implica formulaciones de tipo Lagrangiano, donde las violaciones de las restricciones se agregan al costo primario en un único escalar mediante términos de penalización ponderados seleccionados manualmente. Este artículo identifica una limitación crítica en este paradigma: el comportamiento de la política aprendida depende fuertemente de estos pesos fijos.

El Dilema del Compromiso (Trade-off): Seleccionar los pesos apropiados es difícil y específico para cada problema. Los pesos incorrectos conducen a políticas que son o bien demasiado conservadoras (priorizando las restricciones a un alto costo) o demasiado agresivas (minimizando los costos mientras violan frecuentemente los requisitos de Calidad de Servicio (QoS)).
No Estacionariedad: En entornos dinámicos, la importancia relativa de los objetivos puede cambiar con el tiempo, lo que hace que los pesos estáticos y ajustados manualmente sean subóptimos.

El artículo propone una solución para desacoplar la ejecución de la tarea del diseño de la función objetivo, pasando de un ajuste manual de parámetros hacia un mecanismo autónomo y adaptativo.

2. Metodología: El Marco de Trabajo MAMO

Los autores proponen MAMO (Multi-Agent system for Multi-Objective constrained optimization), un marco jerárquico multi-agente diseñado para aprender el compromiso entre objetivos conflictivos. MAMO trata la selección de los coeficientes de ponderación de la recompensa como un problema de aprendizaje en lugar de una elección de diseño fija.

Arquitectura

MAMO consta de dos agentes que operan en diferentes escalas de tiempo y niveles de abstracción:

Agente de Ejecución de Tareas (TE - Task-Execution):
- Rol: Interactúa directamente con el entorno para aprender una política de control.
- Mecanismo: Utiliza una función de recompensa ponderada estándar que agrega el costo primario y las penalizaciones por violación de restricciones.
- Comportamiento: Para un conjunto fijo de pesos, el agente TE se comporta como un agente de RL convencional, optimizando el objetivo compuesto.
Agente de Adaptación de Pesos (WA - Weight-Adaptation):
- Rol: Opera en un nivel superior y en una escala de tiempo más lenta. No actúa directamente sobre el entorno.
- Mecanismo: Selecciona los valores de los coeficientes de ponderación ( $w$ ) que regulan el compromiso en la función de recompensa del agente TE.
- Señal de Aprendizaje: El agente WA observa indicadores de rendimiento agregados (por ejemplo, costo de ejecución promedio y probabilidad de rechazo promedio) producidos por el agente TE.
  - Si la probabilidad de rechazo excede el umbral de tolerancia, el agente WA recibe una recompa de cero (penalizando las violaciones de restricciones).
  - Si las restricciones se cumplen, la recompensa corresponde al costo de ejecución (fomentando costos más bajos).
- Objetivo: Aprender una política que mapee resúmenes de rendimiento hacia nuevos valores de peso, minimizando los costos de ejecución mientras se enforces las restricciones.

Flujo de Trabajo

El sistema opera en un bucle iterativo de dos fases:

Selección de Pesos y Entrenamiento de TE: El agente WA selecciona una configuración de pesos (inicialmente aleatoria) y la fija para un horizonte de entrenamiento. El agente TE interactúa con el entorno y actualiza su política para optimizar la recompensa ponderada.
Evaluación y Adaptación: Al final del horizonte, el agente WA observa los indicadores de rendimiento del agente TE. Basándose en esta retroalimentación, selecciona una nueva configuración de pesos y comienza una nueva fase de entrenamiento de TE.

Esta estructura permite que MAMO refine progresivamente el equilibrio entre la eficiencia de costos y la preservación de la QoS directamente desde la experiencia, sin depender del ajuste manual.

3. Aplicación de Referencia: Escalado de Réplicas en Edge-FaaS

Para ilustrar el marco de trabajo, los autores aplican MAMO a un problema de escalado de réplicas en un entorno de computación perimetial (Edge) de Función como Servicio (FaaS).

Contexto: Los nodos Edge tienen recursos limitados (memoria, cómputo) en comparación con la nube. Las aplicaciones se descomponen en funciones sin estado (stateless) instanciadas bajo demanda.
Objetivo: Minimizar el costo de inicialización y ejecución de las réplicas de funciones (incluyendo las sobrecargas de arranque en frío/cold-start) mientras se asegura que la probabilidad de rechazo de solicitudes permanezca por debajo de una tolerancia específica ($tol$).
Desafío: Las cargas de trabajo son no estacionarias (por ejemplo, patrones diurnos) y la disponibilidad de recursos fluctúa debido a servicios co-ubicados. El modelado preciso del efecto conjunto de estos factores sobre la probabilidad de rechazo es difícil, lo que hace que el RL libre de modelo (model-free) sea adecuado.

4. Análisis Experimental

Los autores evaluaron MAMO en una instancia simplificada que involucra una única función con un rastro de carga de trabajo sinusoidal (emulando patrones diurnos) y añadieron ruido uniforme para simular la no estacionariedad.

Configuración Experimental

Línea Base (Baseline): El problema fue resuelto offline utilizando el optimizador Gurobi para establecer un límite inferior de rendimiento bajo conocimiento perfecto.
Casos de Control: El agente TE fue entrenado con pesos fijos ( $w=0.99$ y $w=0.1$ ) para demostrar comportamientos extremos (sobre-aprovisionamiento vs. sub-aprovisionamiento).
Configuración de MAMO:
- Agente TE: Deep Q-Learning con una red totalmente conectada de tres capas.
- Agente WA: Espacio de acción discretizado (paso de 0.01) para la selección de pesos.
- Ciclo de Entrenamiento: El TE entrena durante 15,000 iteraciones por cada peso; el WA observa los últimos 300 pasos del rendimiento.
- Restricción: La probabilidad de rechazo debe permanecer por debajo de 0.05.

Resultados

Convergencia: A medida que el agente WA entrenaba, la probabilidad de rechazo observada ( $p$ ) se acercaba al umbral de tolerancia de 0.05, mientras que el peso $w$ convergía a valores entre 0.8 y 0.9.
Rendimiento: Aunque la política aprendida resultó en costos de ejecución ligeramente superiores (más réplicas) en comparación con la solución óptima offline, logró adaptarse exitosamente a la carga de trabajo con ruido.
Hallazgo Clave: MAMO mantuvo consistentemente la probabilidad de rechazo por debajo del umbral de 0.05, mientras que los enfoques de peso fijo o bien violaban las restricciones (bajo $w$ ) o incurrían en costos innecesarios (alto $w$ ).

5. Contribuciones Clave

Desacoplamiento de la Ejecución del Diseño del Objetivo: MAMO introduce una arquitectura jerárquica que separa la política de control (TE) del diseño de la recompensa (WA), permitiendo que el sistema adapte su noción de "optimalidad" a medida que las condiciones evolucionan.
Adaptación Autónoma de Pesos: A diferencia de los enfoques tradicionales donde los pesos se ajustan manualmente u optimizan mediante meta-aprendizaje basado en gradientes, MAMO enmarca la selección de pesos como un problema de decisión secuencial resuelto por un agente separado.
Interpretabilidad: El enfoque restringe la adaptación a un vector de baja dimensión de coeficientes de escalarización sobre objetivos predefinidos, ofreciendo una alternativa más estructurada e interpretable a los modelos de recompensa intrínseca de forma libre.
Compatibilidad con Modelos Libres (Model-Free): El bucle externo (agente WA) no requiere diferenciabilidad a través del aprendiz interno (agente TE), lo que hace que el marco sea compatible con arbitraros solucionadores internos.

6. Significado y Trabajo Futuro

El artículo afirma que MAMO representa un "primer paso hacia soluciones de RL más autónomas y robustas" para la optimización con restricciones en entornos dinámicos. El significado radica en su capacidad para manejar el compromiso entre objetivos conflictivos sin depender de parámetros estáticos ajustados manualmente que pueden quedar obsoletos cuando la dinámica del sistema cambia.

Los autores mantienen la modestia respecto al alcance del trabajo actual, señalando que el análisis experimental se basa en un "caso de uso simple". La investigación futura incluye:

Evaluar MAMO en problemas de diferentes dominios de aplicación.
Comparar MAMO contra otras estrategias de selección de pesos, tales como esquemas de descomposición dual, optimización bayesiana y algoritmos de múltiples políticas (por ejemplo, Optimistic Linear Support).