Resumo Técnico: MAMO – Um Sistema Multiagente para Otimização de Múltiplos Objetivos com Restrições

1. Definição do Problema

Muitos problemas de tomada de decisão em sistemas de computação e redes, particularmente dentro do Continuum de Computação (CC), podem ser formulados como problemas de minimização de custos sujeitos a restrições de desempenho (ex: latência, vazão ou orçamentos de recursos). Em ambientes dinâmicos caracterizados por cargas de trabalho e disponibilidade de recursos flutuantes, o Aprendizado por Reforço (RL) é frequentemente empregado para resolver esses problemas em tempo de execução.

A abordagem padrão para lidar com restrições em RL envolve formulações inspiradas em Lagrangiana, onde as violações de restrição são agregadas ao custo primário em um único escalar de recompensa usando termos de penalidade ponderados selecionados manualmente. Este artigo identifica uma limitação crítica neste paradigma: o comportamento da política aprendida é fortemente dependente desses pesos fixos.

• O Dilema do Trade-off: Selecionar pesos apropriados é difícil e específico para cada problema. Pesos incorretos levam a políticas que são ou excessivamente conservadoras (priorizando restrições com alto custo) ou excessivamente agressivas (minimizando custos enquanto violam frequentemente os requisitos de Qualidade de Serviço - QoS).
• Não Estacionariedade: Em ambientes dinâmicos, a importância relativa dos objetivos pode mudar ao longo do tempo, tornando pesos estáticos e ajustados manualmente subótimos.

O artigo propõe uma solução para desacoplar a execução da tarefa do design da função objetivo, afastando-se do ajuste manual de parâmetros em direção a um mecanismo autônomo e adaptativo.

2. Metodologia: O Framework MAMO

Os autores propõem o MAMO (Multi-Agent system for Multi-Objective constrained optimization), um framework multiagente hierárquico projetado para aprender o equilíbrio entre objetivos conflitantes. O MAMO trata a seleção de coeficientes de ponderação de recompensa como um problema de aprendizado, em vez de uma escolha de design fixa.

Arquitetura

O MAMO consiste em dois agentes operando em diferentes escalas de tempo e níveis de abstração:

1. Agente de Execução de Tarefa (TE Agent):

   • Papel: Interage diretamente com o ambiente para aprender uma política de controle.
   • Mecanismo: Utiliza uma função de recompensa ponderada padrão que agrega o custo primário e as penalidades de violação de restrição.
   • Comportamento: Para um conjunto fixo de pesos, o agente TE comporta-se como um agente de RL convencional, otimizando o objetivo composto.

2. Agente de Adaptação de Peso (WA Agent):

   • Papel: Opera em um nível superior e em uma escala de tempo mais lenta. Ele não atua diretamente no ambiente.
   • Mecanismo: Seleciona os valores dos coeficientes de ponderação ($w$) que regulam o equilíbrio no processo de recompensa do agente TE.
   • Sinal de Aprendizado: O agente WA observa indicadores de desempenho agregados (ex: custo médio de execução e probabilidade média de rejeição) produzidos pelo agente TE.
     • Se a probabilidade de rejeição exceder o limite de tolerância, o agente WA recebe uma recompensa de zero (penalizando violações de restrição).
     • Se as restrições forem atendidas, a recompidade corresponde ao custo de execução (encorajando custos menores).
   • Objetivo: Aprender uma política que mapeia resumos de desempenho para novos valores de peso, minimizando custos de execução enquanto impõe restrições.

Fluxo de Trabalho

O sistema opera em um loop iterativo de duas fases:

1. Seleção de Peso e Treinamento do TE: O agente WA seleciona uma configuração de peso (inicialmente aleatória) e a fixa por um horizonte de treinamento. O agente TE interage com o ambiente e atualiza sua política para otimizar a recompensa ponderada.
2. Avaliação e Adaptação: Ao final do horizonte, o agente WA observa os indicadores de desempenho do agente TE. Com base nesse feedback, ele seleciona uma nova configuração de peso, e uma nova fase de treinamento do TE se inicia.

Esta estrutura permite que o MAMO refine progressivamente o equilíbrio entre eficiência de custo e preservação de QoS diretamente através da experiência, sem depender de ajuste manual.

3. Aplicação de Referência: Escalonamento de Réplicas de Edge-FaaS

Para ilustrar o framework, os autores aplicam o MAMO a um problema de escalonamento de réplicas em um ambiente de computação de borda (Edge) Function-as-a-Service (FaaS).

• Contexto: Nós de borda possuem recursos limitados (memória, computação) comparados à nuvem. Aplicações são decompostas em funções sem estado (stateless) instanciadas sob demanda.
• Objetivo: Minimizar o custo de inicialização e execução de réplicas de funções (incluindo overheads de cold-start) enquanto garante que a probabilidade de rejeição de requisições permaneça abaixo de uma tolerância específica ($tol$).
• Desafio: As cargas de trabalho são não estacionárias (ex: padrões diários) e a disponibilidade de recursos flutua devido a serviços co-localizados. Modelar com precisão o efeito conjunto desses fatores na probabilidade de rejeição é difícil, tornando o RL livre de modelo (model-free) adequado.

4. Análise Experimental

Os autores avaliaram o MAMO em uma instância simplificada envolvendo uma única função com um traço de carga de trabalho sinusoidal (emulando padrões diários) e adicionaram ruído uniforme para simular a não estacionariedade.

Configuração Experimental

• Baseline: O problema foi resolvido offline usando o otimizador Gurobi para estabelecer um limite inferior de desempenho sob conhecimento perfeito.
• Casos de Controle: O agente TE foi treinado com pesos fixos ($w=0.99$ e $w=0.1$) para demonstrar comportamentos extremos (superprovisionamento vs. subprovisionamento).
• Configuração MAMO:
  • Agente TE: Deep Q-Learning com uma rede totalmente conectada de três camadas.
  • Agente WA: Espaço de ação discretizado (passo de 0.01) para seleção de peso.
  • Ciclo de Treinamento: O TE treina por 15.000 iterações por peso; o WA observa os últimos 300 passos de desempenho.
  • Restrição: A probabilidade de rejeição deve permanecer abaixo de 0.05.

Resultados

• Convergência: À medida que o agente WA treinava, a probabilidade de rejeição observada ($p$) aproximou-se do limite de tolerância de 0.05, enquanto o peso $w$ convergiu para valores entre 0.8 e 0.9.
• Desempenho: Embora a política aprendida tenha resultado em custos de execução ligeiramente maiores (mais réplicas) comparados à solução ótima offline, ela conseguiu se adaptar à carga de trabalho ruidosa.
• Achado Principal: O MAMO manteve consistentemente a probabilidade de rejeção abaixo do limite de 0.05, enquanto as abordagens de peso fixo ou violavam as restrições (baixo $w$) ou incorriam em custos desnecessários (alto $w$).

5. Principais Contribuições

1. Desacoplamento da Execução do Design do Objetivo: O MAMO introduz uma arquitetura hierárquica que separa a política de controle (TE) do design da recompensa (WA), permitindo que o sistema adapte sua noção de "otimalidade" conforme as condições evoluem.
2. Adaptação Autônoma de Pesos: Diferente das abordagens tradicionais onde os pesos são ajustados manualmente ou otimizados via meta-aprendizado baseado em gradiente, o MAMO enquadra a seleção de pesos como um problema de decisão sequencial resolvido por um agente separado.
3. Interpretabilidade: A abordagem restringe a adaptação a um vetor de baixa dimensão de pesos de escalonamento sobre objetivos pré-definidos, oferecendo uma alternativa mais estruturada e interpretável a modelos de recompensa intrínseca de forma livre.
4. Compatibilidade com Model-Free: O loop externo (agente WA) não requer diferenciabilidade através do aprendiz interno (TE), tornando o framework compatível com arbitrários solvers internos.

6. Significância e Trabalho Futuro

O artigo afirma que o MAMO representa um "primeiro passo em direção a soluções de RL mais autônomas e robustas" para otimização de restrições em ambientes dinâmicos. A significância reside em sua capacidade de lidar com o equilíbrio entre objetivos conflitantes sem depender de parâmetros estáticos e ajustados manualmente que podem se tornar obsoletos conforme a dinâmica do sistema muda.

Os autores mantêm a modéstia quanto ao escopo do trabalho atual, observando que a análise experimental é baseada em um "caso de uso simples". Pesquisas futuras planejam:

• Avaliar o MAMO em problemas de diferentes domínios de aplicação.
• Comparar o MAMO contra outras estratégias de seleção de peso, como esquemas de decomposição dual, otimização Bayesiana e algoritmos de múltiplas políticas (ex: Optimistic Linear Support).