Resumo Técnico: LLM-as-Trainer para Solucionadores de Roteamento de Veículos Multitarefa

1. Definição do Problema

Os Problemas de Roteamento de Veículos (VRPs) abrangem uma grande variedade de variantes de otimização combinatória (ex: VRP com Capacidade, VRP com Janelas de Tempo, restrições de Backhaul). Embora os solucionadores neurais baseados em aprendizado por reforço profundo tenham mostrado promessa na geração de soluções viáveis de forma eficiente, as abordagens iniciais geralmente exigiam o treinamento de modelos separados para cada combinação específica de restrições. Essa falta de escalabilidade é problemática, dada a existência de mais de 60 variantes de VRP em aplicações do mundo real.

Solucionadores neurais multitarefa visam unificar essas variantes em um único modelo para evitar treinamentos separados. No entanto, um desafio significativo permanece: diferentes variantes de VRP possuem níveis distintos de dificuldade de otimização. Os métodos de treinamento multitarefa existentes frequentemente coordenam parâmetros compartilhados através de equilíbrio de perda ou gradiente, mas carecem de feedback por estágio explícito sobre o desempenho relativo de diferentes tarefas durante o treinamento. Consequentemente, os modelos podem tornar-se enviesados para variantes mais fáceis, limitando a qualidade geral da solução. Embora o meta-aprendizado ofereça treinamento adaptativo, ele normalmente depende de otimização bi-nível, o que acarreta custos computacionais substanciais e atualizações de gradiente adicionais.

2. Metodologia: LLM-as-Trainer (LaT)

Os autores propõem o LaT (LLM-as-Trainer), um paradigma de treinamento plug-and-play que utiliza um Modelo de Linguagem Grande (LLM) pré-treinado como um treinador externo para regular o treinamento conjunto de solucionadores neurais multitarefa. A inovação central reside no uso do LLM para analisar métricas de validação entre tarefas e gerar um vetor de orientação por estágio sem modificar a arquitetura do solucionador ou exigir otimização bi-nível.

2.1 Estrutura de Treinamento

O LaT opera em uma arquitetura padrão de codificador-decodificador Transformer autorregressivo (ex: POMO, CaDA, ReLD), mas introduz um ramo lateral leve em cada camada do codificador. O processo segue estas etapas:

1. Validação Cruzada de Tarefas: Em intervalos predefinidos (a cada $T_{ctrl}$ épocas), a política atual é avaliada em um conjunto de validação fixo para todas as 16 variantes de VRP.
2. Construção de Estado: O sistema calcula o gap de referência relativo ($\eta_{r,k}$) para cada tarefa $k$ contra uma solução de referência pré-computada (gerada por HGS ou OR-Tools). Ele também monitora a mudança neste gap ($\Delta \eta_{r,k}$) e mantém um histórico de registros de validação recentes.
3. Geração de Orientação por LLM: Este estado de treinamento estruturado (incluindo restrições de tarefa, gaps atuais, mudanças no gap e tendências históricas) é formatado em um prompt e enviado a um LLM pré-treinado e congelado (especificamente o GLM-5.1 nos experimentos). O LLM produz um vetor de orientação de 5 dimensões $\gamma_r = [\gamma_C, \gamma_O, \gamma_B, \gamma_L, \gamma_{TW}]$, onde cada dimensão corresponde a uma das cinco restrições elementares (Capacidade, Rota Aberta, Backhaul, Comprimento de Rota, Janela de Tempo).
4. Injeção no Solucionador: Durante as épocas de treinamento subsequentes, o vetor de orientação $\gamma_r$ é concatenado com o vetor de restrição binária da tarefa atual $z_k$. Este vetor combinado é injetado em um ramo lateral leve em cada camada do codificador. A saída do ramo lateral é adicionada à saída do backbone via um coeficiente aprendível $\alpha$.
5. Otimização da Política: O solucionador é atualizado usando métodos padrão de gradiente de política (ex: estilo POMO). O LLM não recebe gradientes e não é consultado durante a inferência.

2.2 Inferência

Após a conclusão do treinamento, o vetor de orientação final é fixado e o LLM é removido. O solucionador implantado retém apenas os ramos laterais aprendidos e o vetor de orientação fixo, não exigindo chamadas de API de LLM e introduzindo um overhead computacional negligenciável.

3. Principais Contribuições

O artigo destaca três contribuições primárias:

• Novo Paradigma de Treinamento: O LaT é o primeiro paradigma de treinamento que introduz um LLM pré-treinado como um treinador externo especificamente para solucionadores de roteamento de veículos multitarefa. Ele incorpora explicitamente o desempenho de validação cruzada de tarefas no loop de otimização da política.
• Mecanismo de Orientação Leve: Os autores projetam um mecanismo que gera um vetor de orientação por estágio a partir de métricas de validação. Este vetor é combinado com restrições de tarefa e injetado nas camadas do codificador, fornecendo informações de treinamento adicionais sem o fardo computacional de otimização bi-nível ou atualizações de loop interno.
• Generalidade Plug-and-Play: O método é projetado para ser integrado a solucionadores neurais existentes (demonstrado nos backbones ReLD e CaDA) sem alterar a política autorregressiva central ou a arquitetura do decodificador.

4. Resultados Experimentais

Experimentos foram conduzidos em 16 variantes de VRP formadas por cinco restrições elementares, com tamanhos de problema de 50 e 100 nós.

• Desempenho nas Variantes Treinadas: As variantes LaT (LaT-ReLD e LaT-CaDA) alcançaram consistentemente gaps de referência relativos menores em comparação com seus modelos de backbone em todas as seis variantes treinadas. Por exemplo, o LaT-CaDA reduziu o gap médio nas variantes treinadas de 1,810% para 1,669%.
• Generalização Zero-Shot: Nas dez variantes de VRP não vistas, o LaT demonstrou forte generalização. O LaT-CaDA superou o baseline CaDA em todos os 20 cenários não vistos (50 e 100 nós), reduzindo o gap médio de 5,490% para 5,067%.
• Comparação com SOTA: As variantes LaT alcançaram os menores gaps na maioria dos cenários em comparação com outros solucionadores multitarefa de última geração (ex: MVMoE, CCL, PoMtVRS).
• Eficiência: O método introduziu um overhead de tempo de inferência negligenciável (3–4 segundos para instâncias de 50 nós), comparável aos backbones. O tempo de treinamento aumentou menos de 1,5% devido às chamadas periódicas ao LLM.
• Estudos de Ablação:
  • Remover a orientação gerada pelo LLM (substituindo-a por um vetor fixo) degradou o desempenho, confirmando o valor da orientação adaptativa.
  • Remover o vetor de restrição de tarefa também piorou o desempenho, mostrando a necessidade de informação explícita da tarefa.
  • Substituir o LLM por um gerador de orientação baseado em MLP resultou em gaps maiores, sugerindo que a melhoria provém das capacidades de raciocínio do LLM e não apenas do aumento da capacidade do modelo.
  • Injetar a orientação após cada camada do codificador (LaT EncAll) provou ser superior a injetá-la apenas na entrada, saída ou contexto do decodificador.

5. Significância e Alegações

O artigo alega que o LaT aborda efetivamente a limitação dos solucionadores multitarefa existentes ao responder explicitamente às diferenças atuais de desempenho entre tarefas. Ao utilizar um LLM congelado como um "treinador" periódico, o método fornece feedback por estágio que guia o solucionador neural para equilibrar o aprendizado entre variantes de diferentes dificuldades.

Os autores enfatizam que o LaT melhora a qualidade da solução tanto em variantes treinadas quanto em não vistas, mantendo a eficiência de inferência. Eles observam que, embora o LaT mostre melhorias consistentes, sua eficácia pode depender da arquitetura de backbone específica (ex: LaT-CaDA mostrou ganhos mais consistentes que o LaT-ReLD em variantes não vistas). O artigo conclui que esta abordagem oferece um paradigma de treinamento geral e eficaz para cenários complexos de múltiplas restrições, embora trabalhos futuros possam explorar conjuntos de restrições mais amplos e mecanismos de orientação mais consistentes entre diversos solucionadores.