💻 computer science

Goal-Aware Adaptive Regulation Across Modalities: Evolutionary Architecture Search for Transformer Language Models on a Consumer AMD GPU

Este artigo demonstra que o framework de busca de arquitetura evolutiva GaaR, originalmente validado em redes convolucionais, transfere-se com sucesso para modelos de linguagem transformer autorregressivos em uma GPU AMD de consumo via DirectML, alcançando desempenho competitivo e revelando que a exploração regulada supera a busca aleatória em paisagens estruturadas, ao mesmo tempo em que favorece arquiteturas largas e rasas sob orçamentos de passos fixos.

Autores originais: Leon Sandler

Publicado 2026-07-17

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Leon Sandler

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô a falar, desenhar ou resolver quebra-cabeças. Para fazer isso, você precisa construir um "cérebro" para ele, o que os cientistas chamam de rede neural. Mas aqui está a parte difícil: você não sabe exatamente o quão grande esse cérebro deve ser, quantas camadas ele precisa ou como ajustar suas configurações. É aqui que entra a Busca de Arquitetura Neural (NAS - Neural Architecture Search). Pense na NAS como um arquiteto robô super organizado e incansável que testa milhares de diferentes designs de cérebros para ver qual funciona melhor.

Normalmente, esse trabalho é feito em data centers massivos e caros, repletos de chips de computador poderosos fabricados por uma empresa específica (NVIDIA), custando milhares de dólares em eletricidade e tempo. É como tentar construir um arranha-céu usando apenas uma frota de guindastes gigantes. Mas e se você pudesse fazer isso em um notebook comum ou em um computador gamer que você já possui? Essa é a grande questão que este artigo aborda: Podemos encontrar o design de cérebro de IA perfeito usando apenas uma placa de vídeo padrão e acessível de uma empresa diferente (AMD), sem precisar daqueles data centers luxuosos e caros? A resposta é importante porque poderia permitir que qualquer pessoa, desde um estudante em seu quarto até um pesquisador com um orçamento pequeno, experimentasse designs de IA sem quebrar o banco ou o planeta.

A História do Arquiteto de IA de Baixo Custo

Conheça o GaaR (Regulação Adaptativa Orientada a Objetivos - Goal-Aware Adaptive Regulation). Pense no GaaR como um arquiteto robô inteligente, de arquivo único, que vive no seu computador. Em uma aventura anterior, este robô projetou com sucesso um sistema de visão (um cérebro que "vê" imagens) usando apenas uma placa de vídeo AMD de nível de consumo. Ele encontrou um design que teve 94,36% de precisão ao reconhecer imagens em 45 minutos, registrando cada etapa em um banco de dados local simples.

Agora, o autor, Leon Sandler, pergunta: "Este mesmo arquiteto robô pode lidar com um trabalho completamente diferente?" Em vez de ensinar a IA a ver (como na tarefa de imagem anterior), ela pode ensinar a IA a falar? Este novo trabalho envolve Modelos de Linguagem Transformer, o tipo de tecnologia que alimenta chatbots e geradores de texto. Esses são muito diferentes dos cérebros de imagem; eles preveem a próxima palavra em uma frase em vez de identificar objetos em uma foto.

O Experimento: Uma Pequena Peça de Shakespeare

Para testar isso, o pesquisador organizou uma corrida na mesma antiga placa de vídeo AMD (uma RX 5700 com 8 GB de memória). Esta placa é especial porque não se dá bem com o software "CUDA" usual que a maioria das ferramentas de IA usa; ela precisa de um caminho diferente chamado DirectML. O arquiteto robô teve que navegar por esse caminho sem qualquer ajuda das ferramentas de big data usuais.

A tarefa foi simples, mas rigorosa:

O Objetivo: Ensinar a IA a prever a próxima letra em um texto das Obras Completas de William Shakespeare (especificamente a versão "Tiny Shakespeare").
As Regras: O robô só poderia testar um design por um tempo muito curto — exatamente 300 etapas de aprendizado por design. Ele não podia simplesmente rodar para sempre; tinha que ser eficiente.
As Variáveis: O robô poderia ajustar seis coisas sobre o cérebro da IA: o quão largo ele é, quantos "cabeças" (mecanismos de atenção) ele tem, o quão profundo ele é, o quanto de texto ele consegue lembrar de uma vez, quantos exemplos ele olha de uma vez e a velocidade com que aprende.

Os Resultados: Velocidade vs. Tamanho

O robô começou a trabalhar, executando oito gerações de designs. Em apenas 3 minutos e 16 segundos de tempo real, ele encontrou um design campeão.

O Vencedor: O melhor design tinha 0,8 milhão de parâmetros (uma medida de tamanho de cérebro).
A Pontuação: Ele reduziu a "confusão" (perda de validação) da IA de 2,171 para 2,021. Em termos simples, a IA ficou melhor em adivinhar a próxima letra da história.
A Surpresa: O robô não escolheu o cérebro maior, mais profundo ou mais complexo. Em vez disso, ele escolheu um cérebro largo, mas raso, com uma memória curta (contexto).

Por quê? Por causa do Efeito do Orçamento. Como cada design recebeu apenas 300 etapas para aprender, os designs que conseguiam processar essas etapas mais rápido venceram. Um cérebro gigante e profundo é lento para treinar; um cérebro largo e raso é rápido. Com um orçamento de tempo, o robô aprendeu que "rápido e simples" vence "lento e complexo". É como uma corrida onde todos têm que correr exatamente 100 metros; a pessoa que consegue dar o tiro mais rápido vence, mesmo que não seja o corredor mais forte.

O Choque de Realidade: Quando o Robô Realmente Vence?

Esta é a parte mais honesta da história. O pesquisador não disse apenas: "O robô é um gênio!" Eles testaram o robô contra um adivinhador aleatório. Eles realizaram a corrida 10 vezes, comparando a estratégia "gananciosa" do robô (sempre escolhend-lo como o melhor até o momento e ajustando-o) contra alguém apenas escolhendo designs completamente ao acaso.

O Resultado: Com apenas 8 tentativas (o pequeno orçamento usado no experimento principal), o robô e o adivinhador aleatório tiveram um desempenho igual. O robô não venceu o adivinhador aleatório; eles empataram.
A Lição: A estratégia "inteligente" do robô só funciona quando o problema é grande o suficiente e o orçamento é longo o suficiente para observar padrões. Em um cenário minúsculo e suave com poucas tentativas, ser inteligente não ajuda muito.
A Prova: Para mostrar que o robô poderia ser inteligente, o pesquisador o testou em um problema muito maior e complexo (uma simulação de física com 6.000 designs possíveis). Lá, o robô encontrou a solução perfeita 70% das vezes, enquanto o adivinhador aleatório encontrou 0% das vezes.

O Que Isso Significa Para Você

Este artigo prova que a NAS cross-modal (usar o mesmo motor de busca para diferentes tipos de IA) funciona em hardware de consumo barato. Ele mostra que você pode projetar uma IA geradora de texto em uma placa de vídeo AMD padrão em minutos, sem precisar de um supercomputador.

No entanto, ele também estabelece um limite claro: se você tiver apenas uma quantidade minúscula de tempo ou dinheiro para testar designs, uma estratégia de busca "inteligente" pode não ser melhor do que apenas adivinhar aleatoriamente. Você precisa de espaço suficiente para deixar a estratégia fazer a mágica dela.

O autor compartilhou todo o código, os logs e o banco de dados para que qualquer pessoa possa repetir este experimento. A mensagem é clara: a pesquisa de IA não precisa estar trancada atrás de portas caras. Com as ferramentas certas, um computador de consumo pode ser um laboratório poderoso para descobrir como construir cérebros de IA mais inteligentes e eficientes.

Resumo Técnico: Regulação Adaptativa Consciente de Objetivos entre Modalidades

Declaração do Problema
A Busca de Arquitetura Neural (NAS) é tradicionalmente dominada por cargas de trabalho de data centers que exigem milhares de GPU-dias e hardware específico da NVIDIA/CUDA. Essa dependência exclui pesquisadores sem acesso a tal infraestrutura e ignora a vasta base instalada de hardware de consumo capaz, particularmente GPUs AMD em Windows, que carecem de suporte oficial para ROCm ou CUDA. Embora trabalhos anteriores tenham estabelecido que a busca evolutiva poderia rodar em hardware de consumo para visão computacional (CNNs), permanecia não comprovado se tal motor leve e consciente de objetivos poderia ser transferido para a distinta modalidade de modelos de linguagem autoregressivos Transformer, que diferem significamente em arquitetura, superfícies de perda e pontos de pressão de hardware.

Metodologia
O estudo utiliza o framework GaaR (Goal-Aware Adaptive Regulation), um motor de busca evolutiva de arquivo único projetado para execução local, retomável e auditável em um único dispositivo de consumo. A metodologia envolve a transferência deste motor para a modelagem de linguagem Transformer com mudanças estruturais mínimas:

Consistência do Motor: O loop central do GaaR permanece inalterado. Ele opera em uma estratégia de "explorar o melhor/mutação de exploração": lendo o genoma de maior pontuação como um progenitor, aplicando mutações limitadas, instanciando o fenótipo candidato, treinando-o sob um orçamento fixo e registrando os resultados em um banco de dados SQLite local.
Fenótipo & Genoma: O fenótipo é uma implementação Transformer PyTorch original e sem modificações (do projeto train-llm-from-scratch). O genoma consiste em seis genes: largura de embedding ( $n\_embed$ ), contagem de cabeças ( $n\_head$ ), contagem de blocos ( $n\_blocks$ ), comprimento de contexto, tamanho de lote (batch size) e taxa de aprendizado. Um operador de reparo de divisibilidade garante que $n\_embed$ permaneça um múltiplo de $n\_head$ .
Hardware & Portabilidade: Todos os experimentos foram executados em uma única AMD Radeon RX 5700 (8 GB) sob Windows 10 usando DirectML (via torch-directml). Este dispositivo não possui caminho CUDA e nenhum suporte oficial para ROCm. A configuração opera em fp32 (precisão mista não está disponível) e lida com retrocessos de operadores (ex: o lerp fundido do AdamW retornando para a CPU) sem modificação do motor.
Função de Aptidão (Fitness): A aptidão é definida como a perda de validação negativa no corpus de nível de caractere Tiny Shakespeare (vocabulário 65) após exatamente 300 passos de otimização AdamW. Este "orçamento de passos fixos" foi escolhido para alinhar-se ao design original do GaaR, embora o artigo note suas implicações para o throughput.

Principais Resultados

Trajetória de Busca: Em uma busca ilustrativa de oito gerações, o motor melhorou a perda de validação de nível de caractere de uma semente de 2.171 (perplexidade 8.8) para um campeão de 2.021 (perplexidade 7.5) com um modelo de 0.8 M de parâmetros. Toda a busca foi concluída em 3 minutos e 16 segundos de tempo de relógio.
Efeitos de Throughput & Orçamento: A busca revelou um "efeito de orçamento" onde a restrição de passos fixos favoreceu implicitamente genomas "largos-rasos, de contexto curto". Essas arquiteturas converteram os 300 passos fixos em aprendizado mais eficaz devido ao maior throughput de passos (até 23.5 passos/s contra 6.1 passos/s para modelos mais profundos).
Baseline de Busca Aleatória: Uma comparação controlada de dez sementes entre a regra gulosa do GaaR e a busca aleatória uniforme com um orçamento de oito avaliações mostrou paridade estatística (perda de validação média melhor: 2.047 para GaaR vs. 2.042 para aleatória; 5 vitórias para cada). Isso indica que, neste cenário específico com um orçamento tão pequeno, a regra gulosa não oferece vantagem mensurável sobre a amostragem aleatória.
Contraste com Paisagens Estruturadas: Por outro lado, em uma paisagem de simulação física maior e estruturada de 6.000 configurações, a mesma regra gulosa dominou a busca aleatória, encontrando o ótimo global exato em 70% das repetições comparado a 0% para a busca aleatória.

Significância e Alegações
O artigo afirma que a NAS cross-modal em hardware de consumo é uma base prática para pesquisa de arquitetura reprodutível e de baixo consumo energético. Suas principais contribuições são:

Transferência de Modalidade: Demonstrar que o motor GaaR se transfere de CNNs para Transformers com apenas uma redefinição de genoma, rodando inteiramente em uma GPU AMD não suportada via DirectML.
Envelope de Portabilidade: Definir as restrições da NAS em hardware de consumo AMD (apenas fp32, retrocessos de operador) sem exigir mudanças no motor.
Delimitação Honesta: Fornecer um baseline controlado que define honestamente os limites da regra de exploração gulosa. O artigo argumenta que a exploração regulada compensa em paisagens maiores e estruturadas ou com profundidade sequencial suficiente, mas não oferece vantagem sobre a busca aleatória em orçamentos trivialmente pequenos em paisagens suaves.
Reprodutibilidade: Lançamento completo de código, logs de geração e arquivos de configuração para permitir a reprodução exata do processo de busca.

Os autores enfatizam que, embora a qualidade absoluta do modelo de linguagem resultante (perplexidade 7.5) não seja competitiva com modelos de última geração, o experimento estabelece com sucesso a viabilidade e a transferibilidade. Ele prova que a descoberta de arquitetura pode ser conduzida de ponta a ponta em um único dispositivo de consumo em minutos, democratizando o acesso à NAS para pesquisadores sem recursos de data center.

A História do Arquiteto de IA de Baixo Custo

O Experimento: Uma Pequena Peça de Shakespeare

Os Resultados: Velocidade vs. Tamanho

O Choque de Realidade: Quando o Robô Realmente Vence?

O Que Isso Significa Para Você

Mais como este