ARC-AGI-3: A New Challenge for Frontier Agentic Intelligence

O artigo apresenta o ARC-AGI-3, um novo benchmark interativo e sem linguagem para avaliar a inteligência agênica em ambientes abstratos que exigem exploração e planejamento, destacando que, em março de 2026, os sistemas de IA de ponta obtêm menos de 1% de acerto em tarefas que humanos resolvem com 100% de eficácia.

O essencial

Imagine que a Inteligência Artificial (IA) atual é como um estudante brilhante que decora todo o livro didático de matemática, mas quando o professor coloca um problema novo na lousa que nunca foi visto antes, o aluno fica em pânico e não sabe por onde começar.

O artigo que você leu apresenta o ARC-AGI-3, um novo "exame" criado para testar se as IAs conseguem pensar de verdade, e não apenas decorar respostas. É como mudar de um teste de múltipla escolha para um jogo de aventura em tempo real, onde ninguém te diz as regras.

Aqui está a explicação simplificada, usando analogias do dia a dia:

1. O Que é o ARC-AGI-3? (O "Jogo de Descoberta")

Antes, os testes de IA eram como quebra-cabeças estáticos: você via duas imagens e tinha que adivinhar a regra que transformava a primeira na segunda. O ARC-AGI-3 mudou a regra do jogo.

Agora, a IA é jogada dentro de um mundo de videogame interativo.

• A Analogia: Imagine que você é jogado em uma sala fechada com uma caixa misteriosa. Ninguém te diz o que é a caixa, nem como abri-la, nem qual é o objetivo. Você só tem que apertar botões e ver o que acontece.
• O Desafio: A IA precisa:
  1. Explorar: Apertar botões para entender como o mundo funciona.
  2. Adivinhar o Objetivo: Perceber sozinha que o objetivo é, por exemplo, "fazer a bola chegar ao buraco", sem ninguém ter dito isso.
  3. Planejar: Criar um plano para chegar lá.

2. Por que isso é difícil para as IAs? (O Problema da "Memória")

As IAs atuais são ótimas em encontrar padrões em coisas que já viram milhões de vezes. Elas são como um detetive que resolve crimes apenas porque já viu o mesmo assassino em 100 filmes.

• O Truque: Se o teste for muito parecido com o que a IA já viu na internet, ela "cola" na resposta (memorização).
• A Solução do ARC-AGI-3: Os criadores fizeram jogos totalmente novos, que não existem na internet. É como se o detetive tivesse que resolver um crime em um planeta alienígena onde as leis da física são levemente diferentes. Se a IA não consegue "pensar" de verdade, ela falha.

3. Como eles medem a inteligência? (A "Eficiência de Movimento")

No passado, o teste era: "Você conseguiu resolver?". Agora, o teste é: "Quanto esforço você gastou para resolver?"

• A Analogia: Imagine dois corredores numa pista de obstáculos.
  • O Robô A corre de um lado para o outro, bate em todas as paredes, tenta chutar tudo e, depois de 100 tentativas, acidentalmente acerta o caminho.
  • O Humano olha, entende que a porta está trancada, pega a chave que estava na mesa e abre a porta em 5 segundos.
  • Quem é mais inteligente? O humano.
• A Regra do Jogo: O ARC-AGI-3 conta cada "passo" (clique ou movimento) que a IA dá. Se ela der muitos passos desnecessários, sua nota cai. A meta é fazer a IA ser tão eficiente quanto um humano médio.

4. O Resultado Atual (A Realidade Dura)

O artigo revela uma verdade um pouco desconfortável para o mundo da tecnologia:

• Humanos: Conseguem resolver 100% desses jogos novos em cerca de 20 minutos.
• IAs de Ponta (as mais inteligentes do mundo em 2026): Conseguem resolver menos de 1% dos jogos.

Isso significa que, embora as IAs sejam ótimas em escrever poemas, codificar programas ou responder perguntas baseadas em livros, elas ainda são muito "burras" quando precisam entrar em um ambiente novo, descobrir as regras sozinhas e agir com inteligência. Elas ainda dependem muito de alguém (um humano) segurando a mão e dizendo o que fazer.

5. Por que isso importa? (O Futuro)

Os criadores dizem que para ter uma Inteligência Artificial Geral (AGI) — uma IA que seja tão inteligente quanto um humano em qualquer coisa —, ela precisa aprender a ser eficiente em ambientes desconhecidos.

O ARC-AGI-3 é como um "campo de treinamento" para forçar as IAs a desenvolverem essa habilidade. Se elas passarem nesse teste, significa que estamos perto de criar máquinas que podem ir para uma fábrica, um laboratório ou uma cozinha e aprender a trabalhar sozinhas, sem precisar de um manual de instruções escrito por um humano.

Resumo da Ópera:
O ARC-AGI-3 é um novo jogo difícil onde a IA é jogada no escuro e precisa descobrir as regras sozinha. Até agora, as IAs mais inteligentes do mundo estão perdendo feio, dando muitos passos errados e demorando muito, enquanto os humanos resolvem rápido. O objetivo é usar esse jogo para ensinar as IAs a pensar de verdade, e não apenas a decorar.

Resumo técnico

Título: ARC-AGI-3: Um Novo Desafio para a Inteligência Agente de Fronteira

Data: 27 de março de 2026
Autores: ARC Prize Foundation (incluindo François Chollet, Gregory Kamradt, Mike Knoop, entre outros)

---

1. O Problema e o Contexto

O artigo introduz o ARC-AGI-3, um novo marco de referência (benchmark) projetado para avaliar a inteligência agente (agentic intelligence). O objetivo central é medir a "lacuna residual" entre a inteligência artificial atual e a Inteligência Artificial Geral (AGI) humana.

• Limitações dos Antecessores: Os benchmarks anteriores (ARC-AGI-1 e 2) focavam em tarefas estáticas de inferência de regras a partir de pares de entrada/saída. Embora eficazes para detectar o surgimento de raciocínio fluido em modelos de linguagem (LRMs), eles foram superados ou contornados por técnicas de overfitting, memorização de dados de treinamento e geração sintética de tarefas similares.
• A Lacuna Atual: Até março de 2026, os sistemas de IA mais avançados (como GPT-5, Gemini 3, Opus 4.6) obtêm pontuações abaixo de 1% no ARC-AGI-3, enquanto humanos resolvem 100% dos ambientes. A inteligência atual ainda é limitada a domínios onde o modelo possui conhecimento prévio e feedback de correção exato ("domínios verificáveis"), falhando em adaptar-se a "desconhecidos desconhecidos" sem instruções explícitas.

2. Metodologia e Design do Benchmark

O ARC-AGI-3 muda o paradigma de tarefas estáticas para ambientes interativos baseados em turnos.

2.1 Definição de Inteligência Agente

A inteligência é definida pela eficiência na aquisição de habilidades através de quatro componentes funcionais:

1. Exploração: Obtenção ativa de informações interagindo com o ambiente.
2. Modelagem: Construção de um modelo interno do mundo para prever estados futuros.
3. Definição de Objetivos (Goal-Setting): Inferir metas e estados desejáveis sem instruções explícitas.
4. Planejamento e Execução: Mapear ações para atingir o objetivo, corrigindo rotas com base no feedback.

2.2 Estrutura do Ambiente

• Formato: Ambientes interativos baseados em turnos (não em tempo real), priorizando o raciocínio offline sobre reflexos sensorimotores.
• Observação: Grade de 64x64 células com 16 cores possíveis.
• Ação: Espaço de ação limitado (5 ações principais + Desfazer + Selecionar célula), garantindo que a complexidade esteja na lógica e não nos controles.
• Restrições de Design:
  • Baseado apenas em Conhecimentos Primários (Core Knowledge): Objetos, geometria básica, física intuitiva e "agência" (intenção).
  • Sem linguagem ou símbolos culturais: Nenhuma letra, número ou ícone reconhecível.
  • Novidade: Cada ambiente é único e distinto de jogos existentes e de outros ambientes do benchmark.
  • Solúvel por Humanos: Todos os ambientes devem ser resolvidos por humanos não treinados em até 20 minutos.

2.3 Pipeline de Produção e Validação

• Estúdio de Jogos Interno: Desenvolvimento de ambientes com validação rigorosa.
• Validação Automatizada:
  • Qualificação Determinística: Testes de estresse (até 1 milhão de passos aleatórios) para garantir que níveis não sejam resolvidos por sorte.
  • Análise de Espaço de Estados: Construção de grafos de estados para estimar a probabilidade de vitória de uma política aleatória (limiar: < 1 em 10.000).
• Calibração Humana: Cada ambiente é testado por 10 participantes. Apenas ambientes resolvidos por pelo menos 2 pessoas independentemente são incluídos.

3. Métricas de Avaliação (Scoring)

A métrica principal é a Eficiência de Ação Humana Relativa (RHAE - Relative Human Action Efficiency), chamada de "Ray".

• Definição de Eficiência: Número de ações (turnos) necessárias para resolver um nível na primeira interação.
• Linha de Base Humana: Definida como a segunda melhor pontuação humana (para evitar outliers de gênios e manter um padrão robusto).
• Fórmula de Pontuação por Nível ($S_{l,e}$):
  $$S_{l,e} = \min\left(1.0, \frac{h_{l,e}}{a_{l,e}}\right)^2$$
  Onde $h_{l,e}$ é a linha de base humana e $a_{l,e}$ é a ação da IA. O uso do quadrado (lei de potência) penaliza severamente ineficiências (ex: 10x mais ações resulta em apenas 1% de crédito).
• Agregação:
  • Pontuação por Ambiente: Média ponderada dos níveis (níveis mais difíceis têm maior peso).
  • Pontuação Total: Média de todos os ambientes no conjunto de dados.
• Limitação de Cortes (Cutoff): Para evitar custos computacionais excessivos, as execuções são cortadas após 5x o número de ações humanas (ex: se humanos levam 10 ações, a IA é parada em 50).

4. Resultados e Desempenho

4.1 Desempenho Humano

• 100% de Solvabilidade: Humanos resolvem todos os ambientes do conjunto privado sem treinamento prévio.
• Tempo Médio: A maioria dos ambientes é resolvida em alguns minutos (mediana de 8,1 minutos para tentativas bem-sucedidas).
• Eficiência: Os humanos são altamente eficientes, explorando o ambiente de forma direcionada e aprendendo as regras rapidamente.

4.2 Desempenho da IA (Março de 2026)

Os modelos de fronteira (sem harnesses específicos ou conhecimento prévio dos ambientes) apresentam desempenho extremamente baixo:

• Gemini 3.1 Pro: 0,37%
• GPT-5.4: 0,26%
• Opus 4.6: 0,25%
• Grok-4.20: 0,00%

4.3 Evidência de Overfitting e Memorização

O artigo destaca que modelos como o Gemini 3 demonstram conhecimento implícito de mapeamentos de cores específicos do ARC-AGI em seus raciocínios, mesmo sem ter sido explicitamente treinado com os dados do benchmark, sugerindo que o conjunto de dados público já está "vazado" ou representado massivamente nos dados de treinamento, permitindo inferências baseadas apenas na estrutura dos dados.

5. Contribuições Principais

1. Mudança de Paradigma para Agentes: Transição de benchmarks estáticos para ambientes interativos que exigem exploração ativa, inferência de objetivos e planejamento de longo prazo.
2. Métrica de Eficiência: Introdução da RHAE, que compara diretamente a eficiência de recursos (ações) da IA com a humana, penalizando a força bruta (brute-force).
3. Resistência a Shortcuts: Design intencionalmente Out-of-Distribution (OOD) em relação aos dados públicos, com conjuntos de dados privados rigorosamente guardados para evitar contaminação.
4. Validação Rigorosa: Pipeline de desenvolvimento que combina validação automatizada de grafos de estado e calibração humana contínua para garantir solvabilidade e dificuldade adequada.
5. Distinção entre Harness e AGI: O benchmark separa claramente o progresso em "engenharia de harnesses" (ferramentas externas) do progresso em inteligência geral, focando a liderança oficial em modelos que não usam scaffolding específico.

6. Significado e Conclusão

O ARC-AGI-3 representa um marco crítico na avaliação de AGI. Ele demonstra que, apesar dos avanços no raciocínio lógico e na automação de tarefas conhecidas (como programação), os sistemas atuais ainda carecem fundamentalmente da capacidade de adaptação fluida a novos domínios sem instruções prévias.

• Sinal de Alerta: A pontuação abaixo de 1% indica que a inteligência atual ainda é "jagged" (irregular) e dependente de conhecimento de domínio, falhando em generalizar para cenários verdadeiramente novos e não estruturados.
• Futuro da Pesquisa: O benchmark força a comunidade a desenvolver sistemas capazes de construir modelos internos do mundo, inferir metas e planejar ações eficientes, movendo-se além da simples previsão de tokens ou busca de padrões estatísticos.
• Competição ARC Prize 2026: O prêmio de $2 milhões será focado no ARC-AGI-3, incentivando soluções que não dependam de overfitting ou harnesses manuais, mas sim de inteligência geral intrínseca.

Em resumo, o ARC-AGI-3 estabelece um novo padrão de ouro para medir a verdadeira inteligência geral, focando na eficiência de aquisição de habilidades em ambientes desconhecidos, onde a lacuna entre humanos e máquinas permanece vasta e significativa.