O Parquinho das Mentes Digitais

Imagine um mundo onde os computadores não apenas seguem instruções rígidas, mas aprendem observando, tal como uma criança aprende a andar de bicicleta ao observar o seu irmão mais velho. Este é o reino do aprendizado de máquina, especificamente um ramo chamado clonagem comportamental. Neste canto da ciência, investigadores alimentam uma IA com milhares de horas de jogabilidade humana, esperando que o computador possa imitar os movimentos, o tempo e os instintos de um jogador profissional sem nunca lhe ser explicitamente dito como jogar.

A grande questão que impulsiona este campo é: Quanto pode uma IA simples e compacta aprender apenas por copiar, antes de precisarmos de adicionar funcionalidades complexas de "cérebro", como memória, definição de objetivos ou aprendizagem por tentativa e erro? Pense nisso como perguntar até onde um papagaio pode voar apenas memorizando a rota de voo de um falcão, sem precisar de compreender a aerodinâmica. Se conseguirmos construir uma IA pequena e eficiente que jogue bem apenas por copiar, pouparemos quantidades massivas de poder de computação e energia. Mas se a IA ficar bloqueada no momento em que vê algo ligeiramente diferente do que praticou, saberemos que precisamos de lhe ensinar a recuperar de erros. Este é o delicado equilíbrio entre a "imitação simples" e a "adaptação inteligente" que os cientistas estão constantemente a testar.

---

Cortex: O Pequeno Copiador de Quake

No artigo "Cortex: Compact Behavior Cloning for Quake with Frozen Visual Features", um investigador chamado Dzmitry Malyshau decidiu testar os limites desta ideia de "imitação simples". Ele construiu um agente de IA chamado Cortex e lançou-o no mundo caótico e acelerado do clássico jogo de vídeo de 1996, Quake. Especificamente, incumbiu-o de navegar pelo primeiro nível, E1M1, um labirinto de corredores, portas, botões e monstros que exige uma mistura de correr, saltar, disparar e resolver puzzles simples.

O Cortex foi concebido para ser incrivelmente leve. Não possui um cérebro massivo construído do zero. Em vez disso, utiliza um cérebro visual "congelado" — um modelo de visão computacional pré-treinado chamado DINOv3 — que atua como um par de olhos altamente treinados. Estes olhos estão "congelados", o que significa que já são bons a ver formas e texturas e nunca são alterados durante o treino. O verdadeiro "cérebro" do Cortex é um minúsculo transformer de seis camadas com apenas 10,98 milhões de parâmetros treináveis. Para colocar isto em perspetiva, outras IAs de jogos famosas neste espaço têm centenas de milhões de parâmetros. O Cortex é o velocista leve comparado com os campeões de peso pesado.

O processo de treino foi surpreendentemente curto e eficiente. A IA assistiu a 6.849 gravações de jogadores humanos, o que totaliza cerca de 474,7 horas de jogabilidade. No entanto, o Cortex não assistiu a cada segundo. Os investigadores selecionaram uma "época amostrada" específica, que é como fazer uma passagem única e cuidadosamente curada através dos dados. Isto envolveu 517.048 clipes curtos (cada um com quatro frames) e levou a IA apenas 3,3 minutos para otimizar numa única placa gráfica de alto desempenho (uma RTX 5080). O objetivo era ver se este modelo pequeno e de treino rápido conseguiria acompanhar IAs muito maiores e mais complexas.

Os Resultados: Um Mix de Vitórias e Tropeços

Quando os investigadores libertaram o Cortex no Quake, os resultados foram uma mistura fascinante de habilidade impressionante e falha previsível.

As Boas Notícias:
O Cortex foi surpreendentemente bom no básico. Em dois lotes separados de 20 episódios (cada um com 120 segundos de duração), o Cortex conseguiu chegar à "porta de abertura", à "sala do botão" e à "descida do portão" em todos os 20 episódios de cada lote. Também conseguiu obter uma morte em 19 de 20 episódios. Isto sugere que, para as partes iniciais e diretas do nível, simplesmente copiar os movimentos humanos funciona muito bem. Ele conseguiu navegar pelos corredores iniciais e envolver-se em combate de forma eficaz.

As Más Notícias:
Apesar destas vitórias iniciais, o Cortex falhou em completar o nível em nenhum dos 40 episódios (0/20 em ambos os lotes). A IA ficava bloqueada, geralmente perto de paredes ou na água, e não conseguia perceber como se desbloquear. Os investigadores notaram que este é um problema clássico de clonagem comportamental chamado desvio de covariável (covariate shift): quando a IA comete um pequeno erro, acaba numa situação que nunca viu nos vídeos de treino e, como só sabe copiar o que viu, congela ou entra em pânico.

A Comparação:
Os investigadores também testaram outros dois modelos de IA muito maiores (P2P-150M e NitroGen) sob as mesmas condições. Estes gigantes, treinados em milhares de horas de muitos jogos diferentes, tiveram um desempenho ainda pior neste teste específico. Completaram 0 de 5 episódios cada um e ficaram bloqueados quase imediatamente. Isto sugere que, para esta tarefa específica e estreita, um modelo compacto e especializado como o Cortex pode, de facto, superar um modelo massivo e de propósito geral, pelo menos durante o primeiro minuto de jogo.

O Que os Experimentos Revelaram

O artigo não se limitou a jogar o jogo; realizou uma série de experiências de "ablação" para ver o que fazia o Cortex funcionar e o que o fazia falhar.

• Mais Detalhe Ajuda no Combate, Não na Navegação: Quando os investigadores deram ao Cortex uma visão mais densa e detalhada do ecrã (usando mais "tokens" ou patches visuais), a IA tornou-se melhor a lutar e a sobreviver. Obteve mais mortes e morreu menos vezes. No entanto, este detalhe extra não ajudou a navegar melhor a rota. De facto, por vezes tornou a fiabilidade da rota ligeiramente pior. Isto sugere que ver mais detalhes ajuda a IA a reagir a inimigos, mas não ajuda necessariamente a compreender para onde ir a seguir.
• A Memória Não é uma Solução Mágica: A equipa tentou dar ao Cortex uma "memória" das suas ações passadas, esperando que ele aprendesse com os seus próprios erros. Surpreendentemente, isto não melhorou consistentemente o seu desempenho. A IA não melhorou a navegação no nível apenas por se lembrar do que fez cinco segundos antes.
• Métricas Offline Mentem: Os investigadores descobriram que os testes computacionais padrão (como a capacidade da IA prever o próximo movimento num conjunto de teste) eram maus preditores de quão bem a IA realmente jogaria o jogo. Uma IA pode parecer perfeita no papel, mas falhar miseravelmente no jogo real. Este é um aviso crucial para futuros investigadores: não confiem apenas nos números; observem o jogo.

O Veredito

O artigo conclui que, embora uma IA compacta e simples possa aprender a jogar as partes iniciais de um jogo complexo muito bem apenas copiando humanos, ela atinge um limite intransponível. Ela não consegue recuperar dos seus próprios erros ou navegar em situações novas que não tenha visto antes. As falhas foram consistentes com a ideia de que a IA estava a sofrer de desvio de covariável — perdeu-se nas partes "desconhecidas" do jogo.

Os autores sugerem que o próximo passo não é tornar a IA maior, mas sim ensinar-lhe como recuperar. Eles propõem um método chamado DAgger, onde um humano interviria sempre que a IA ficasse bloqueada, mostrando o movimento correto, e a IA aprenderia especificamente com esses momentos de "resgate".

Em suma, o Cortex prova que não é necessário um supercomputador para jogar bem um videojogo durante algum tempo. Um modelo pequeno e eficiente pode imitar os primeiros minutos de jogo de um humano com uma habilidade impressionante. Mas, sem uma forma de aprender com os seus próprios erros ou uma memória do que fazer quando as coisas correm mal, acabará por bater contra uma parede que não consegue escalar. O artigo não afirma ter resolvido o jogo; em vez disso, oferece um mapa claro e honesto de onde a imitação simples funciona e onde ela falha, orientando futuros investigadores sobre como construir agentes que possam verdadeiramente adaptar-se.