Adapter-Augmented Bandits for Online Multi-Constrained Multi-Modal Inference Scheduling

O artigo propõe o M-CMAB, um framework de agendamento de inferência para modelos de linguagem multimodal que utiliza bandits contextuais multi-adapter e um construtor primal-dual para otimizar decisões online sob restrições orçamentárias multidimensionais e heterogêneas, superando os métodos atuais em qualidade de resposta e eficiência.

O essencial

Imagine que você é o gerente de uma cafeteria muito especial.

Nesta cafeteria, os clientes (as tarefas) chegam pedindo coisas diferentes: alguns querem apenas um café (texto), outros querem um café com um desenho no copo (imagem), e alguns querem até uma música de fundo (áudio). O problema é que você tem dois tipos de baristas trabalhando para você:

1. O Barista Local: Trabalha na sua própria cozinha. É rápido e não cobra por copo, mas ele cansa fácil (bateria do seu celular) e às vezes demora se a receita for muito complexa.
2. O Barista da Nuvem: Trabalha em uma fábrica gigante lá fora. Ele é super inteligente e faz receitas difíceis com perfeição, mas cobra muito caro por cada xícara e o tempo de entrega depende do trânsito (internet).

Você tem um orçamento limitado (dinheiro e tempo) para o dia todo. Se gastar tudo no início, os clientes que chegam no final do dia ficam sem atendimento. Se escolher o barista errado, o cliente fica insatisfeito com o café ruim.

O papel que você leu apresenta uma solução inteligente chamada M2-CMAB. Vamos descomplicar como ela funciona:

O Problema: O Caos na Cozinha

Antes dessa solução, o gerente (o computador) tinha que adivinhar: "Será que devo mandar esse pedido complexo para o barista caro da fábrica ou tentar fazer aqui mesmo?".

• Se ele errar, gasta o dinheiro rápido demais.
• Se for muito conservador, o café fica ruim.
• Além disso, cada pedido é único (alguns têm fotos, outros só texto), e o tempo que o barista da fábrica leva varia dependendo do "trânsito" da internet.

A Solução: O Gerente com "Óculos Mágicos" (M2-CMAB)

Os autores criaram um sistema de três partes para ajudar o gerente a tomar decisões perfeitas:

1. O "Óculos Mágicos" (O Preditor com Adaptadores)

Imagine que o gerente tem óculos especiais que olham para o pedido do cliente e dizem: "Ei, esse pedido é difícil! Se o barista local tentar, vai demorar e ficar ruim. Melhor mandar para a fábrica."

• Como funciona: O sistema usa uma "inteligência artificial gigante" (o MLLM) que está congelada (não muda, para não gastar energia). Em vez de reensinar todo o cérebro do barista, eles colocam pequenos "óculos" (adaptadores) leves na frente dele.
• A mágica: Esses óculos aprendem rapidamente a prever: "Quanto vai custar?" e "Qual a qualidade que vamos ter?". Eles são leves e rápidos, como colocar um filtro no Instagram em vez de editar o vídeo inteiro.

2. O "Contador de Dinheiro Inteligente" (O Constrainer)

Este é o guardião do orçamento. Ele não olha apenas para o pedido de agora, mas para o dia todo.

• Como funciona: Ele usa uma espécie de "puxão de orelha" matemático. Se você gastou muito dinheiro nos primeiros pedidos, ele aumenta o "preço" de mandar pedidos para a fábrica nos próximos. Isso força o sistema a ser mais econômico, sem precisar saber o futuro. É como se o gerente dissesse: "Ok, gastamos muito com café especial hoje, vamos fazer um café simples para o próximo cliente para não quebrar."

3. O "Gerente de Exploração" (O Scheduler)

Este é o cérebro que decide a ação final. Ele equilibra duas coisas:

• Exploração: "Vamos testar o barista local neste pedido novo só para ver se ele consegue fazer bem?" (Arriscar um pouco para aprender).
• Exploração (Aproveitamento): "Sabemos que o barista da fábrica é ótimo para isso, vamos mandar!" (Usar o que já sabemos que funciona).
• Ele faz isso de forma que, mesmo que o orçamento seja apertado, ele não gaste tudo no começo. Ele espalha o dinheiro para garantir que o último cliente do dia também seja atendido.

Por que isso é incrível? (Os Resultados)

Os autores testaram isso em um "simulador" com muitos tipos de pedidos e baristas diferentes. O resultado foi impressionante:

• O sistema deles conseguiu entregar cafés muito melhores (mais qualidade na resposta) do que os métodos antigos.
• Eles conseguiram economizar até 14% a mais de qualidade dentro do mesmo orçamento.
• Funcionou tão bem que ficou muito perto do "Sonho do Gerente" (uma versão teórica onde o gerente sabe exatamente o que vai acontecer antes de acontecer).

Resumo em uma frase

O M2-CMAB é como um gerente de cafeteria superinteligente que usa óculos mágicos para prever o futuro, um contador que vigia o dinheiro em tempo real e uma estratégia equilibrada para garantir que todos os clientes recebam o melhor café possível, sem que o caixa fique vazio antes do fim do dia.

Isso é essencial para o futuro, pois nossos celulares e computadores precisam rodar inteligência artificial complexa sem gastar toda a bateria ou todo o dinheiro do usuário.

Resumo técnico

Resumo Técnico: M2-CMAB para Agendamento de Inferência Multimodal

1. O Problema

O artigo aborda o desafio crítico de agendamento online de inferência para Modelos de Linguagem Grandes Multimodais (MLLMs) em ambientes com restrições de recursos.

• Contexto: As aplicações de MLLMs (como Qwen-VL e LLaVA) envolvem entradas heterogêneas (texto, imagem, áudio) e variam drasticamente em dificuldade de raciocínio.
• Desafios Principais:
  1. Heterogeneidade e Incerteza: As solicitações de tarefas mudam rapidamente em composição de modalidade e dificuldade latente. Os backends de execução (dispositivos locais vs. APIs em nuvem) apresentam custos e latências distintos e variáveis no tempo devido a jitter do sistema e flutuações de rede.
  2. Representação de Tarefa: É difícil criar representações de tarefas que sejam semanticamente fiáveis (capturando a complexidade multimodal) e relevantes para o agendamento, sem depender de features manuais frágeis.
  3. Restrições Orçamentárias Irreversíveis: O agendamento deve ser feito online, sem conhecimento das futuras solicitações, sob orçamentos rígidos e multidimensionais (ex: custo monetário e latência). Decisões erradas consomem recursos irreversivelmente, podendo esgotar o orçamento antes do fim da sessão.
  4. Custo Computacional: Métodos existentes que exigem ajuste fino (fine-tuning) completo do modelo para cada decisão são muito pesados para operação em tempo real.

O objetivo é maximizar a qualidade de serviço (QoS) esperada (recompensa) ao longo do tempo, respeitando múltiplas restrições de orçamento cumulativo.

2. Metodologia: M2-CMAB

Os autores propõem o M2-CMAB (Multi-modal Multi-constraint Contextual Multi-Armed Bandit), um framework de aprendizado online baseado em três componentes principais:

A. Preditor com Adaptadores (Reward and Cost Predictor)

• Arquitetura: Utiliza um backbone de MLLM congelado (ex: Qwen3-VL-2B) para preservar a capacidade generativa e consistência de representação.
• Representação: Introduz um token [CLS] explícito no início da entrada multimodal para atuar como uma âncora semântica global. Em vez de usar o último token de saída (otimizado para previsão de próxima palavra), o sistema utiliza pesos de atenção do [CLS] para fazer pooling sobre os estados ocultos, gerando uma representação compacta da tarefa ($z_x$).
• Adaptadores Leves: Para prever recompensas e custos, o sistema empilha adaptadores (MLPs) leves e específicos para a ação. Apenas os parâmetros desses adaptadores são atualizados online, enquanto o backbone permanece fixo. Isso permite estimativas rápidas e específicas para cada ação (backend) sem o custo de fine-tuning completo.

B. Constritor Dual-Primal (Constrainer)

• Mecanismo: Utiliza um framework de otimização baseado em multiplicadores de Lagrange para desacoplar as restrições de longo prazo das decisões de curto prazo.
• Atualização Online: Mantém um vetor de multiplicadores de Lagrange ($\lambda_t$) que é atualizado iterativamente usando o algoritmo Online Mirror Descent (OMD).
• Função: O constritor ajusta dinamicamente as penalidades sobre o consumo de recursos. Se um orçamento (ex: latência) está sendo consumido muito rápido, o multiplicador correspondente aumenta, penalizando ações que consomem esse recurso nas decisões futuras.

C. Agendador de Duas Fases (Scheduler)

• Fase Inicial (Exploração): Realiza uma exploração uniforme de todas as ações para coletar dados e estimar o raio do conjunto viável dos multiplicadores de Lagrange ($\Lambda$). Isso é feito resolvendo um problema de programação linear para estimar o valor ótimo esperado ($\hat{OPT}$).
• Fase Exploração-Aproveitamento: Para cada rodada $t$:
  1. Calcula uma pontuação Lagrangiana para cada ação: $S_t(a) = \hat{r}_t^a - \langle \hat{\phi}_t^a / \Phi - 1/T, \lambda_t \rangle$.
  2. Seleciona a ação com base em uma distribuição de probabilidade que favorece a ação de maior pontuação, mas mantém uma probabilidade de exploração controlada por um hiperparâmetro $\rho$.
  3. Atualiza os multiplicadores de Lagrange com base nos custos e recompensas observados.

3. Contribuições Principais

1. Representação Eficiente de MLLM: Desenvolvimento de um pipeline de extração de contexto baseado em atenção ao [CLS] com backbone congelado e adaptadores leves, permitindo previsões de recompensa/custo de baixo custo computacional e alta estabilidade.
2. Controle de Restrições Desacoplado: Uma abordagem primal-dual online que gerencia múltiplas restrições de orçamento irreversíveis sem necessidade de conhecimento futuro, garantindo satisfação de restrições de longo prazo.
3. Garantia de Regret: Estabelecimento de uma garantia teórica de regret (arrependimento) sob restrições de mochila multidimensionais, provando que o algoritmo converge para o ótimo com uma taxa sublinear.
4. Benchmark Realista: Criação de um benchmark abrangente com 5 backends heterogêneos (locais e nuvem), 6 datasets multimodais e 7 métodos de comparação, simulando cenários reais de implantação.

4. Resultados Experimentais

O M2-CMAB foi avaliado em um cenário de inferência multimodal mista com orçamentos variados (Restrito, Normal, Generoso).

• Desempenho: O método superou consistentemente todos os baselines (incluindo seleção aleatória, prioridade de latência, prioridade de custo, e métodos state-of-the-art como BGT-planner).
• Ganhos de Recompensa:
  • Até 14,18% de melhoria na recompensa média em relação ao segundo melhor método no conjunto de dados composto (COMPOSITE).
  • Desempenho muito próximo ao limite superior "Oráculo" (que conhece as recompensas e custos reais de antemão), com uma lacuna inferior a 1,2% em cenários desafiadores.
• Robustez: O sistema manteve alta performance mesmo sob orçamentos extremamente restritos e em distribuições de tarefas heterogêneas.
• Análise de Ablação: A remoção do adaptador de recompensa causou a maior queda de desempenho, indicando que a precisão na previsão de valor é o fator mais crítico para o agendamento eficaz.

5. Significado e Impacto

Este trabalho oferece uma solução prática e teoricamente fundamentada para a implantação de MLLMs em escala na nuvem e na borda.

• Viabilidade Operacional: Ao evitar o fine-tuning completo e usar adaptadores leves, o framework torna o agendamento dinâmico viável em tempo real, mesmo em dispositivos com recursos limitados.
• Otimização de Recursos: Permite que provedores de serviços de IA maximizem a qualidade das respostas dos usuários enquanto respeitam rigorosamente orçamentos de custo e latência, um problema central na economia de modelos de IA generativa.
• Avanço Teórico: Estende o framework clássico de Contextual Bandits with Knapsacks (CBwK) para lidar especificamente com contextos multimodais complexos e não estacionários, fornecendo novas garantias de convergência para este domínio.

Em resumo, o M2-CMAB representa um avanço significativo na interseção entre aprendizado de máquina online, otimização de recursos e a engenharia de sistemas de inferência de grandes modelos multimodais.