Resumo Técnico: Aprendizado por Reforço Baseado em Eventos para Controle de Longo Horizonte na Fabricação de Semicondutores

1. Definição do Problema

As instalações de fabricação de semicondutores (fabs) representam sistemas adaptativos complexos caracterizados por tempos de processamento estocásticos, fluxos de processos reentrantes, equipamentos heterogêneos e restrições tecnológicas rigorosas. A tomada de decisão neste domínio, particularmente no nível de despacho, envolve escolhas sequenciais onde as consequências de uma ação são frequentemente atrasadas e entrelaçadas com milhares de interações subsequentes.

Abordagens tradicionais de aprendizado por reforço (RL) enfrentam desafios significativos neste cenário:

• Atribuição de Crédito de Longo Horizonte: Modelos de transição de passo único padrão desalinham a atribuição de crédito temporal porque os KPIs (Indicadores Chave de Desempenho) do sistema, como vazão (throughput) e utilização, são resultados cumulativos de muitas decisões interdependentes, não consequências imediatas de ações isoladas.
• Feedback Atrasado: As recompensas são esparsas e observadas apenas ao longo de longos segmentos de tempo, tornando o aprendizado instável.
• Escalabilidade e Generalização: Muitos estudos existentes simplificam o problema para um controle localizado ou dependem de ambientes de teste de pequena escala, falhando em abordar políticas de todo o sistema sob a complexidade industrial real. Além disso, há uma falta de comparação sistemática entre algoritmos quanto à generalização e transferibilidade em regimes offline e online.

2. Metodologia

Os autores propõem um framework de aprendizado profundo por reforço modular e baseado em eventos, projetado para otimização de política centralizada em ambientes contínuos de horizonte infinito.

Arquitetura Central

• Agente Centralizado: Um único agente controla todo o sistema no nível de despacho, selecionando lotes de wafers candidatos para equipamentos disponíveis. Esta abordagem utiliza compartilhamento de parâmetros para melhorar a escalabilidade em comparação com decomposições multiagentes que exigem coordenação explícita.
• Dinâmica Baseada em Eventos: O sistema é modelado como uma sequência de eventos discretos (ex: equipamento tornando-se ocioso) em vez de passos de tempo fixos. As ações disparam eventos temporalmente estendidos e sobrepostos.
• Codificação de Estado e Ação:
  • Estado: Codifica estatísticas de carga de trabalho, status do equipamento e distribuição de WIP (trabalho em processo) através de setores de fluxo de processo e categorias de produtos (representação de tamanho fixo >5000 dimensões).
  • Ação: Codifica características de lotes candidatos (tipo de produto, tempo de processamento, restrições). A política utiliza um mecanismo softmax baseado em pontuação para lidar com tamanhos de conjuntos de ações variáveis (até milhares de candidatos).
• Política Restrita: Um viés indutivo rígido impõe restrições específicas do domínio (ex: evitar corrosão) ao mascarar ações inviáveis, enquanto a função de recompensa incentiva o comportamento em conformidade com as restrições.

Construção da Recompensa

Para abordar a esparsidade do feedback, a recompensa é decomposta em dois componentes:

1. Recompensa ao Nível do Evento ($r_e$): Uma recompensa densa e moldada que fornece feedback local imediato baseado no tempo de processamento, tempo de ociosidade e violações de restrições.
2. Recompensa ao Nível do Sistema ($r_g$): Uma recompensa atrasada computada sobre uma janela de tempo finita ($t_s$) baseada em KPIs como movimentações cumulativas de wafers (taxa de produção) e utilização média de equipamentos.
   A recompensa total é $r = r_e + r_g$.

Aprendizado de Diferença Temporal (TD) por Grupo de Eventos

O artigo introduz uma nova formulação TD que respeita a estrutura temporal de eventos sobrepostos:

• Agregação de Grupos: Em vez de atualizar cada evento independentemente, o framework amostra um segmento de tempo $I_h$ e trata todos os eventos dentro dele como um único grupo $G$.
• Objetivo por Grupo: O objetivo de aprendizado minimiza a discrepância entre os erros TD agregados ao nível do evento e a recompensa do sistema para aquele segmento. Isso permite que os sinais de recompensa global se propaguem de ponta a ponta através de eventos interdependentes.
• Estratégias de Agregação: Os autores comparam a agregação pela média (suavização) e a agregação ponderada (considerando a duração do evento) para estabilizar a otimização.

Integração Algorítmica

O framework é agnóstico ao algoritmo, integrando-se com várias bases (backbones) de modelo livre:

• Treinamento Offline: Utiliza dados históricos (política aleatória) com métodos conservadores (CQL, IQL) para mitigar o desvio de distribuição e a superestimação.
• Treinamento Online: Emprega métodos off-policy (DQL, SAC) e on-policy (PPO) para ajuste fino (fine-tuning). O SAC utiliza regularização de entropia para exploração, enquanto o PPO utiliza uma vantagem relativa ao grupo para alinhar-se com a estrutura de TD agrupada.

3. Principais Contribuições

1. Framework de RL Modular Baseado em Eventos: Uma arquitetura escalável para interação de política e otimização em sistemas adaptativos complexos, utilizando a fabricação de semicondutores como um caso real representativo.
2. Formulação Centralizada: Um problema unificado de otimização de política sobre dinâmicas baseadas em eventos, permitindo a tomada de decisão em todo o sistema sem a complexidade de coordenação multiagente.
3. Otimização de Múltiplas Fases: Formulações customizadas que suportam tanto o pré-treinamento offline (eficiente em dados, conservador) quanto o ajuste fino online (adaptativo, exploração restrita).
4. Avaliação Focada em Generalização: Uma avaliação abrangente através de 31 cenários industriais diversos, esclarecendo as forças relativas de diferentes formulações de RL e algoritmos em configurações de longo horizonte.

4. Resultados Experimentais

Os experimentos foram conduzidos usando um simulador de alta fidelidade baseado em dados industriais reais da STMicroelectronics, cobrindo 31 cenários com variadas configurações de WIP (Trabalho em Processo) e operacionais.

• Baselines (Linhas de Base): O desempenho foi comparado contra First-In-First-Out (FIFO), Shortest Processing Time (SPT) e uma política Aleatória (Random).
• Desempenho Offline: Agentes treinados em dados de política aleatória alcançaram ganhos significativos sobre a política Aleatória (até ~39% de vazão, ~28% de saturação) e superaram o FIFO. Entre os algoritmos offline, variantes de Double Q-Learning (DQL) e Conservative Q-Learning (CQL) mostraram desempenho robusto.
• Desempenho Online: O ajuste fino online melhorou ainda mais o desempenho, alcançando até ~42% de ganho em vazão e ~30% de ganho em saturação em relação à configuração sem controle (Aleatória). O Soft Actor-Critic (SAC) com alta entropia alvo e o DQL demonstraram forte eficiência de amostragem.
• Estudos de Ablação:
  • Formulação TD: O objetivo TD agregado por eventos proposto superou significativamente as sequências descontadas truncadas padrão e os objetivos de eventos empilhados, confirmando a importância da atribuição de crédito ao nível de grupo.
  • Design de Recompensa: Treinar apenas com recompensas de segmento do nível do sistema provou ser eficaz, embora a combinação com o moldagem (shaping) de nível de evento tenha acelerado a convergência em alguns casos.
  • Comparação de Algoritmos: Métodos offline exigiram conservadorismo (CQL/IQL) para evitar superestimação, enquanto métodos online se beneficiaram de regularização de entropia (SAC) e gradientes de política estáveis (PPO).

5. Significância e Alegações

O artigo afirma que o framework proposto aborda com sucesso os desafios centrais da aplicação de RL a sistemas de grande escala baseados em eventos com feedback atrasado. Ao desacoplar a interação com o ambiente da otimização da política e introduzir uma camada de diferença temporal customizada, o framework permite que agentes aprendam políticas de todo o sistema que otimizam múltiplos KPIs simultaneamente.

Os autores enfatizam que:

• Escalabilidade: A abordagem centralizada baseada em características escala para configurações de alta dimensão sem a sobrecarga de coordenação de sistemas multiagentes.
• Transferibilidade: O framework demonstra ganhos de desempenho consistentes através de diversos cenários operacionais, sugerindo robustez a mudanças em WIP e mix de produtos.
• Praticidade: A capacidade de pré-treinar offline em dados históricos e realizar o ajuste fino online com interação limitada torna esta abordagem viável para implantação industrial, onde a exploração é custosa e arriscada.

O estudo conclui que a formulação cuidadosa do problema — especificamente o alinhamento da estrutura temporal com a propagação da recompensa — é tão crítica quanto a escolha do algoritmo de RL subjacente para alcançar um controle eficaz em sistemas adaptativos complexos.