💻 computer science

AMORL: A Training-Aware, Adaptive, Multi-Objective RL-CNN Framework for Dynamic DNN Mapping on Networks-on-Chip

Este artigo introduz o AMORL, um framework adaptativo e consciente do treinamento que combina aprendizado por reforço e redes neurais convolucionais para mapear dinamicamente diversas cargas de trabalho de DNN em Networks-on-Chip heterogêneas, alcançando reduções significativas no custo de comunicação, desequilíbrio de carga e latência, enquanto mantém alta taxa de transferência e eficiência energética.

Autores originais: Md Farhadur Reza

Publicado 2026-08-25

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Md Farhadur Reza

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No mundo moderno da computação, as máquinas mais poderosas não são mais definidas por um único e massivo cérebro, mas por milhares de pequenos processadores trabalhando em uníssono. Imagine uma cidade onde milhões de minúsculos trabalhadores devem constantemente passar notas uns para os outros para resolver um único problema complexo. Se as estradas entre eles ficarem congestionadas, a cidade inteira para. Esta é a realidade das redes neurais profundas que impulsionam a inteligência artificial de hoje, desde o reconhecimento de imagens até a tradução de idiomas. Esses sistemas são construídos a partir de camadas de neurônios artificiais que se comunicam em padrões vastos e intrincados. Para executá-los de forma eficiente, engenheiros colocam esses neurônios em chips especializados chamados sistemas many-core, onde os processadores são conectados por uma rede de fios minúsculos conhecida como Network-on-Chip (Rede no Chip). Esta rede interna atua como o sistema circulatório do chip, transportando dados entre os processadores. No entanto, à medida que esses cérebros artificiais crescem em tamanho e complexidade, o tráfego nessas estradas internas torna-se um gargalo. Métodos tradicionais de decidir qual processador lida com qual parte do cálculo frequentemente falham em considerar as demandas únicas e variáveis de diferentes modelos de IA, levando ao desperdício de energia, superaquecimento e lentidão no desempenho.

Um pesquisador da Eastern Illinois University desenvolveu uma nova abordagem para resolver este problema de tráfego, um sistema que eles chamam de AMORL. Em vez de usar um conjunto fixo de regras para atribuir tarefas aos processadores, este sistema aprende como mapear o fluxo de dados dinamicamente, muito parecido com um centro de controle de tráfego inteligente que ajusta os tempos dos sinais em tempo real com base no congestionamento atual. O pesquisador treinou seu sistema usando uma combinação de duas técnicas poderosas: aprendizagem por reforço, que permite que um computador aprenda através de tentativa e erro, e uma rede neural convolucional, que ajuda o sistema a reconhecer padrões espaciais na forma como os dados se movem. Ao ensinar o sistema a olhar para o chip inteiro como um mapa, ele pode identificar quais processadores estão ociosos e quais estão sobrecarregados, e então redirecionar instantaneamente o fluxo de informações para manter tudo funcionando suavemente.

A inovação central do AMORL reside em sua capacidade de se adaptar às necessidades específicas de diferentes modelos de inteligência artificial e às condições mutáveis do próprio chip. O pesquisador testou seu sistema em seis tipos distintos de redes neurais, variando de modelos simples usados para classificação básica de imagens a arquiteturas massivas e complexas como ResNet-50 e BERT-tiny. Eles simularam esses modelos rodando em redes de chips de vários tamanhos, desde pequenas grades de 16 processadores até matrizes massivas de mais de mil. O sistema foi projetado para lidar com todo o ciclo de vida de uma sessão de treinamento, reconhecendo que as necessidades de comunicação de um cérebro artificial mudam conforme ele aprende. Durante a fase inicial de aprendizado, o sistema envia dados para frente; mais tarde, ele envia sinais de erro para trás para corrigir erros; e, finalmente, ele atualiza seus pesos internos. O AMORL aprende a otimizar o posicionamento das tarefas para cada uma dessas fases, garantindo que os dados mais críticos viajem a menor distância possível.

Em suas simulações, os resultados foram impressionantes. Comparado a estratégias de mapeamento mais antigas que dependiam de atribuição aleatória ou algoritmos de otimização padrão, a estrutura AMORL reduziu o custo de comunicação em mais de 70 por cento. Isso significa que os dados tiveram que viajar significativamente menos saltos entre os processadores, reduzindo drasticamente o tempo necessário para o sistema completar uma tarefa. O sistema também melhorou o balanceamento de carga em até 86 por cento, garantindo que nenhum processador ficasse ocioso enquanto outros estavam sobrecarregados. Talvez o mais importante seja que o sistema conseguiu fazer isso mantendo o consumo de energia baixo e evitando o superaquecimento do chip. O pesquisador incorporou uma métrica de segurança térmica em seu processo de aprendizagem, permitindo que o sistema desloque automaticamente as tarefas para longe de processadores que estavam ficando quentes demais, evitando assim a necessidade de o chip diminuir a velocidade para esfriar.

Para verificar se esses achados se sustentavam sob condições realistas, o pesquisador executou seus mapeamentos através de um simulador altamente detalhado e preciso em ciclos, que imita o comportamento físico da rede do chip. Eles testaram o sistema em uma grade de 4x4 processadores e uma grade maior de 8x8, levando a taxa de injeção de dados ao limite para ver como o sistema se comportava sob tráfego pesado. Na grade menor, o sistema sustentou um throughput de até 876 gigabits por segundo. Na grade maior de 8x8, alcançou um throughput impressionante de mais de 2,77 terabits por segundo. Esses números indicam que o sistema não apenas funciona na teoria, mas mantém alta eficiência mesmo quando a rede está sob imensa pressão. As simulações confirmaram que os mapeamentos gerados pelo AMORL podem lidar com as demandas diversas e imprevisíveis de cargas de trabalho de inteligência artificial do mundo real sem exigir que o sistema seja treinado do zero toda vez que um novo modelo é introduzido.

O pesquisador também explorou como diferentes componentes de seu sistema contribuíram para o seu sucesso. Eles descobriram que a parte do sistema responsável por ponderar dinamicamente diferentes objetivos — como velocidade versus eficiência energética — era o fator mais crítico. Quando removeram essa ponderação adaptativa, o desempenho do sistema caiu significativamente, provando que uma abordagem de "tamanho único" é insuficiente para essas tarefas complexas. Da mesma forma, o componente que reconhecia padrões espaciais no chip foi essencial para reduzir os custos de comunicação, especialmente à medida que o tamanho do chip aumentava. O sistema também demonstrou uma capacidade notável de se adaptar rapidamente a mudanças repentinas na carga de trabalho. Se o tipo de dado ou o tamanho da tarefa mudasse no meio da operação, o sistema poderia fazer ajustes rápidos sem precisar de um ciclo completo de retreinamento, garantindo alto desempenho contínuo.

Este trabalho representa um passo significativo para tornar o hardware de inteligência artificial mais eficiente e adaptável. Ao ensinar o próprio chip como organizar seu tráfego interno, o pesquisador criou uma estrutura que pode escalar de redes pequenas e simples para os sistemas massivos e complexos do futuro. A capacidade de otimizar conjuntamente velocidade, energia e gerenciamento de calor significa que futuros aceleradores de IA podem rodar mais rápido e de forma mais fria, lidando com uma variedade maior de tarefas sem a necessidade de intervenção humana constante. Os achados sugerem que, à medida que avançamos para chips com milhares de núcleos, a chave para desbloquear seu pleno potencial não reside apenas em adicionar mais potência, mas em ensiná-los a compartilhar essa potência de forma inteligente. A estrutura AMORL fornece um blueprint para essa inteligência, mostrando que, com as estratégias de aprendizado corretas, esses sistemas complexos podem encontrar seus próprios caminhos ideais através do cenário digital.

Resumo Técnico: Estrutura AMORL para Mapeamento Dinâmico de DNN em NoCs

Declaração do Problema

À medida que a tecnologia de transistores avança, sistemas de muitos núcleos integrando centenas a milhares de núcleos estão se tornando o padrão para a execução de Redes Neurais Profundas (DNNs). Esses sistemas dependem de Redes em Chip (NoCs) como a principal estrutura de comunicação. No entanto, as estratégias de mapeamento tradicionais têm dificuldade em lidar com os diversos e intensos padrões de comunicação inerentes às DNNs, como as trocas globais de todos para todos em camadas totalmente conectadas e padrões localizados em camadas convolucionais.

As abordagens de mapeamento existentes enfrentam três limitações primárias:

Falta de Escalabilidade: Muitas técnicas são adaptadas para tamanhos de NoC fixos ou arquiteturas de DNN específicas, carecendo da flexibilidade para se adaptar a dimensões variáveis (ex: de 4×4 para 32×32 malhas) ou profundidades de modelo diversas.
Otimização Estática: Métodos tradicionais frequentemente falham em abordar a natureza multi-objetivo do problema, que exige a otimização simultânea de objetivos conflitantes: minimização da latência de comunicação, balanceamento de cargas computacionais, redução do consumo de energia e gestão de riscos térmicos.
Inflexibilidade a Cargas de Trabalho Dinâmicas: Aceleradores do mundo real encontram contextos dinâmicos, incluindo mudanças rápidas entre diferentes modelos, variações no tamanho dos lotes (batch sizes) e mudanças nas fases de treinamento (forward, backward, atualização de pesos). Mapeadores estáticos treinados em um único conjunto de dados (ex: MNIST) frequentemente falham em generalizar para arquiteturas não vistas (ex: ResNet-50 ou BERT), levando a um desempenho subótimo.

Metodologia

O artigo propõe o AMORL (Adaptive Multi-Objective RL-CNN), uma estrutura generalizada que combina Aprendizado por Reforço (RL) e Redes Neurais Convolucionais (CNN) para criar uma política de mapeamento escalável e adaptável para arquiteturas de NoC heterogêneas.

Arquitetura Central

O AMORL emprega uma estrutura de aprendizado hierárquica:

Rede de Política RL-CNN: O agente central utiliza uma CNN para processar informações de estado espacial (demandas computacionais normalizadas, matrizes de intensidade de comunicação e utilização de núcleos) para detectar padrões espaciais, como pontos quentes (hotspots) de comunicação e regiões subutilizadas. A CNN gera um mapa de probabilidade que guia a decisão do agente de RL sobre qual núcleo atribuir a um cluster de neurônios específico. O agente de RL otimiza a sequência temporal dessas atribuições.
Meta-Controlador: Uma rede neural secundária que pondera dinamicamente cinco objetivos distintos — custo de comunicação, desbalanceamento de carga, eficiência energética, latência e risco térmico — com base no estado atual do sistema. Ele produz um vetor ponderado por softmax para combinar esses objetivos em um único escalar de recompensa, permitindo que o sistema priorize diferentes metas (ex: segurança térmica vs. latência) dependendo das condições de tempo de execução.
Módulo de Adaptação: Para lidar com mudanças súbitas na carga de trabalho (ex: novos tamanhos de lote ou tipos de modelos), a estrutura extrai padrões de carga de trabalho de tamanho fixo via pooling adaptativo. Ao detectar uma mudança, ela aciona uma etapa de adaptação rápida online usando experiências passadas similares (top-k) para ajustar finamente um pequeno vetor de adaptação, permitindo a especialização sem a necessidade de um retreinamento completo.

Mapeamento Consciente do Treinamento

Uma inovação fundamental é a capacidade da estrutura de distinguir entre as fases de treinamento de uma DNN. A representação de estado inclui flags one-hot para as fases forward, backward e weight-update (atualização de peso). A função de recompensa aplica penalidades específicas à fase (ex: dobrar a penalidade de custo de comunicação durante o passo backward, que domina o tempo de treinamento). Isso permite que o AMORL otimize os posicionamentos especificamente para a propagação de gradientes e sincronização de pesos sem alterar o otimizador da DNN subjacente (ex: SGD).

Carga de Trabalho e Ambiente

A estrutura foi treinada e avaliada em seis cargas de trabalho de DNN diversas, variando de redes pequenas e totalmente conectadas (IRIS, 3 camadas) a arquiteturas profundas e grandes (ResNet-50, 53 camadas) e modelos baseados em Transformer (BERT-tiny). O treinamento utilizou um paradigma de Multi-Dataset, intercalando episódios de todas as seis cargas de trabalho para aprender uma política robusta e generalizável. As avaliações foram conduzidas em tamanhos de NoC variando de malhas de 4×4 a 32×32.

Principais Contribuições

Arquitetura de Aprendizado Hierárquica: Introdução de um meta-controlador que pondera dinamicamente recompensas multi-objetivo e uma política RL-CNN que aprende padrões de mapeamento espacial e sequências de atribuição temporal.
Mapeamento Consciente de Fase e de Treinamento: Extensão do RL-CNN para codificar fases de treinamento (forward, backward, update) no espaço de estados, otimizando para os gargalos de comunicação específicos de cada fase (ex: minimizar saltos de gradiente).
Adaptação Rápida Online: Um mecanismo para detectar mudanças na carga de trabalho e realizar uma especialização rápida usando poucos passos de gradiente em um vetor de adaptação, evitando o esquecimento catastrófico e a necessidade de retreinar do zero.
Recompensa Multi-Objetivo com Modelagem Térmica: Integração de latência por salto e um modelo de risco térmico em um vetor de recompensa de 5 dimensões, permitindo que a estrutura equilibre velocidade, eficiência e confiabilidade.
Escalabilidade e Generalização: Demonstração de políticas invariantes ao tamanho, treinadas em tamanhos de malha aleatórios (4×4 a 32×32) e DNNs diversas, alcançando seleção de ação em tempo constante ( $O(1)$ ) durante a inferência.

Resultados Experimentais

A estrutura foi avaliada usando um mapeador de DNN próprio e simulações de ciclo preciso via gem5/Garnet.

Melhorias de Desempenho: Comparado a variantes abladas (removendo o meta-controlador, a CNN ou o módulo de adaptação) e algoritmos de baseline (Random, Simulated Annealing, Genetic Algorithm), o AMORL alcançou:
- Custo de Comunicação: Redução de mais de 70% em relação às variantes abladas e até 69% sobre os baselines Random.
- Desbalanceamento de Carga: Redução de até 86% conforme o tamanho da NoC aumentava.
- Latência: Redução de mais de 50% em relação às variantes abladas, com economias de pico de 78% para o BERT-tiny em NoCs menores.
- Energia: Economias consistentes de energia variando de 2,5% a 6% sobre os baselines.
Escalabilidade: O desbalanceamento de carga diminuiu monotonicamente com o tamanho da NoC, atingendo níveis próximos de zero (0,031–0,035) em malhas 32×32, indicando uma distribuição de carga quase perfeita.
Validação de Ciclo Preciso:
- Em uma NoC 4×4, o AMORL sustentou um throughput de até 876 Gbps com latência estável sob cargas leves.
- Em uma NoC 8×8, o throughput excedeu 2,77 Tbps, confirmando a robustez sob condições de tráfego realistas e taxas de injeção variáveis (0,05 a 0,50 flits/nó/ciclo).
Dinâmica de Treinamento: O meta-controlador aprendeu rapidamente a equilibrar os objetivos, reduzindo o peso do objetivo de energia, que é numericamente dominante, enquanto aumentava o peso da latência. A política convergiu para um platô estável por volta do episódio 600.

Significância e Alegações

O artigo afirma que o AMORL fornece uma solução de mapeamento unificada, adaptável e multi-objetivo que aborda os desafios críticos dos modernos aceleradores de DNN de muitos núcleos. Sua significância reside em:

Generalização: Ao contrário de trabalhos anteriores adaptados a arquiteturas específicas, o AMORL aprende uma política única capaz de lidar com diversas DNNs (de minúsculas a grandes) e configurações de NoC sem retreinamento por carga de trabalho.
Adaptação Dinâmica: Ele gerencia efetivamente a natureza dinâmica das cargas de trabalho do mundo real, incluindo ambientes de múltiplos modelos e variações nas fases de treinamento, através de sua adaptação online e mecanismos conscientes de fase.
Otimização Holística: Ao otimizar conjuntamente comunicação, carga, energia e segurança térmica, oferece uma solução prática para a execução de DNNs energeticamente eficientes e termicamente seguras.
Validação: Os resultados, validados tanto por modelagem analítica quanto por simulação de ciclo preciso, confirmam que as políticas aprendidas generalizam além do ambiente de treinamento, mantendo a eficiência e baixa latência sob condições de tráfego realistas.

O autor conclui que o AMORL representa um avanço para permitir a execução eficiente, escalável e adaptável de cargas de trabalho de tanto inferência quanto de treinamento em sistemas de muitos núcleos baseados em NoC heterogêneos.