💻 computer science

Tycho: Active Abstraction with Programmatic World Models for ARC-AGI-3

O artigo apresenta o Tycho, um sistema de agente de codificação que aborda o desafio ARC-AGI-3 ao formalizar ambientes como máquinas de Moore parametrizadas e empregar "abstração ativa" para construir, testar e reparar dinamicamente modelos de mundo executáveis, alcançando eficiência perfeita de replay humano em todos os 183 níveis, enquanto reduz significativamente a contagem de ações em comparação com as bases humanas.

Autores originais: Jens Lehmann, Andrei Aioanei, Sahar Vahdati

Publicado 2026-07-31

📖 3 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Jens Lehmann, Andrei Aioanei, Sahar Vahdati

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é jogado em um videogame novinho em folha, sem manual, sem tutorial e sem nenhuma forma de pedir ajuda. Você só consegue ver a tela, apertar um botão e observar o que acontece em seguida. Para vencer, você tem que descobrir as regras ocultas, adivinhar o objetivo e fazer tudo isso sem desperdiçar um único movimento, porque cada vez que um botão é pressionado conta contra sua pontuação. Este é o desafio da abstração ativa: aprender como um mundo funciona através do fazer nele, em vez de apenas memorizar respostas. Os cientistas chamam isso de "aquisição de habilidade", que é basicamente a capacidade de aprender um novo truque rapidamente com apenas algumas tentativas, em vez de precisar praticar um milhão de vezes. A grande questão é: pode um computador aprender a jogar esses jogos misteriosos da mesma forma que um humano faz — observando, adivinhando as regras e, então, usando essas regras para planejar com antecedência?

Este artigo apresenta um sistema chamado Tycho (nomeado após o astrônomo Tycho Brahe, que mapeou as estrelas com tanta precisão que outros puderam, mais tarde, descobrir as leis do universo) para responder a essa pergunta. O Tycho é um "agente de codificação" projetado para jogar um conjunto específico de quebra-cabeças complicados chamados ARC-AGI-3. Em vez de apenas adivinhar o próximo movimento, o Tycho tenta escrever um pequeno programa de computador que atue como um simulador do próprio jogo. Ele observa o jogo, escreve código para prever o que acontecerá se ele apertar um botão, verifica se esse código está correto e, então, usa esse código para planejar seus movimentos. Os pesquisadores testaram quatro maneiras diferentes de o Tycho usar esse simulador: ignorando-o completamente, fazendo com o cérebro principal escrever o código, pedindo a um robô auxiliar que escreva o código ou corrigindo automaticamente o código sempre que ele comete um erro.

Os resultados foram surpreendentes e sutis. A equipe descobriu que ter apenas um simulador não é suficiente; a estratégia de quando usá-lo é o que mais importa. A melhor abordagem foi a delegação solicitada pelo ator, onde o agente principal pede a um ajudante especialista para construir o simulador do jogo apenas quando acha que é necessário. Este método obteve a maior eficiência entre os testes iniciais. Quando eles aplicaram essa estratégia vencedora a dois dos modelos de IA mais poderosos disponíveis (GPT-5.6 Sol e Opus 5), os resultados foram incríveis: eles resolveram 100% dos 25 jogos públicos e todos os 183 níveis dentro deles. O modelo Opus 5 foi particularmente eficiente, usando 61% menos ações do que o jogador humano médio para completar os mesmos níveis.

No entanto, o artigo também alerta contra uma armadilha comum. Eles descobriram que construir um simulador que preveja perfeitamente cada pixel do jogo (alta precisão) não garante que você vencerá. Uma estratégia, chamada "reparo automático", construiu simuladores que eram incrivelmente precisos ao prever o que acontece a seguir, mas o agente ainda jogava mal porque não sabia o que visar ou quando parar de usar o simulador. É como ter um mapa perfeito de um labirinto, mas não saber onde fica a saída. O artigo conclui que a verdadeira inteligência não é apenas construir um modelo perfeito do mundo; é sobre a "abstração ativa" de decidir quando construir um modelo, quando confiar nele e quando ignorá-lo e apenas agir. O Tycho mostrou que, ao tratar o jogo como um conjunto de regras a serem descobertas e testadas, em vez de apenas uma imagem a ser resolvida, a IA pode aprender a jogar novos jogos com eficiência semelhante à humana.

Resumo Técnico: Tycho – Abstração Ativa com Modelos de Mundo Programáticos para ARC-AGI-3

Definição do Problema

O artigo aborda o ARC-AGI-3, um benchmark interativo onde um agente deve inferir as regras, o estado oculto e os objetivos de jogos desconhecidos apenas por meio de observação e ação. Diferente de tarefas de raciocínio estático, o ARC-AGI-3 impõe um orçamento de ação rigoroso: cada movimento conta para a pontuação, e o agente deve equilibrar exploração (coleta de evidências) com explotação (conclusão de níveis).

O desafio central é a abstração ativa: o agente deve decidir não apenas o que é verdade sobre o ambiente, mas quando vale a pena o custo de construir um modelo, usá-lo para planejamento, repará-lo em caso de falha ou ignorá-lo completamente. O artigo formaliza esses ambientes como máquinas de Moore determinísticas renderizadas parametrizadas, distinguindo entre o estado subjacente (que inclui variáveis ocultas como contadores ou deslocamentos de câmera), a dinâmica de transição e a formação da observação (renderização). Uma dificuldade fundamental é que grades renderizadas idênticas podem corresponder a estados subjacentes diferentes (observações não-markovianas), exigindo que o agente mantenha um histórico de interações para resolver ambiguidades.

Metodologia: O Sistema Tycho

Tycho é um sistema de agente de codificação projetado para construir e utilizar modelos de mundo programáticos durante a interação. Ele opera em uma arquitetia de tempo de tarefa compartilhada (Figura 1) envolvendo um ator (que raciocina e compromete ações) e um bancada de trabalho (workbench) opcional (que constrói ou repara modelos executáveis).

1. Estrutura Formal

Máquinas de Moore Renderizadas: O ambiente é modelado como um sistema determinístico onde ações atualizam um estado subjacente $s$ , e o estado produz uma observação (grade), ações disponíveis e um resultado. As transições podem emitir quadros de animação intermediários (evidência transitória) antes de se estabilizarem no próximo quadro de decisão.
Histórico de Interação Tipado: O sistema registra um histórico estruturado de quadros de decisão, ações, quadros transitórios e resultados terminais. Isso evita que o agente confunda quadros de animação com pontos de decisão.
Predição Parcial: Para lidar com a incerteza, o renderizador do modelo pode abster-se de pixels que não consegue determinar (retornando $\perp$ ) ou retornar um conjunto limitado de variantes de observação para ambiguidades de quantização (ex: uma barra de HUD representando um contador oculto).

2. Linguagem de Hipótese Executável

O Tycho representa modelos de mundo como programas Python que implementam quatro funções principais:

init_state: Mapeia a grade inicial e o índice do nível para um estado modelado.
transition: Avança o estado dada uma ação.
render: Mapeia o estado de volta para uma grade (suportando abstenção).
outcome: Classifica o estado como em andamento, nível concluído ou fim de jogo.
O modelo é livre (free-form), permitindo que o agente escolha a representação do estado (ex: listas de objetos, autômatos celulares, contadores) com base nas mecânicas específicas do jogo.

3. Políticas de Metaraciocínio

O artigo avalia quatro políticas distintas para gerenciar a interação entre o ator e o modelo:

Sem Modelo de Mundo (Raciocínio Direto): O ator raciocina diretamente sobre a evidência sem construir um modelo executável.
Única (Autorada pelo Ator): O ator tanto raciocina quanto edita o modelo conforme necessário.
Orquestrador (Delegação Solicitada pelo Ator): O ator pode solicitar a um subagente construtor especializado para construir ou reparar o modelo.
Gatilho (Reparo Automático): O harness invoca automaticamente o construtor quando a verificação falha (ex: incompatibilidade de transição, cobertura insuficiente) ou em limites de nível.

4. Verificação e Planejamento

Verificação: O modelo é testado reexecutando o histórico de interação registrado. Uma transição é "aceita" se a grade prevista pelo modelo corresponder à grade observada em todas as células reivindicadas (ou corresponder a uma das variantes permitidas).
Planejamento: Uma vez verificado o modelo, o sistema busca no espaço de estados uma sequência de ações que leve ao level_complete. O plano resultante é validado contra o estado interno do modelo e executado passo a passo, com o ator reverificando o estado após cada ação.

Principais Contribuições

Formalização: O artigo formaliza o ARC-AGI-3 como a identificação ativa de máquinas de Moore determinísticas renderizadas com emissões de transição, lidando explicitamente com estado oculto, observações não-injetivas e o custo da interação.
Modelos de Mundo Programáticos: Define uma linguagem de hipótese executável e livre que permite aos agentes externalizar regras como código Python inspecionável e editável, suportando predição parcial e abstração de estado.
Benchmarking de Políticas: Fornece uma comparação pareada de quatro políticas de manutenção de modelo (Sem Modelo, Única, Orquestrador, Gatilho) sob orçamentos de inferência idênticos, isolando o impacto da alocação de modelo (quem constrói o modelo e quando) da capacidade de síntese do modelo.
Distinção de Métricas: O trabalho separa a precisão de transição (o simulador reproduz o histórico?) da performance de jogo (o modelo ajuda a vencer?). Demonstra que uma alta precisão de transição não garante pontuações altas se o modelo falhar em identificar o objetivo ou se a política alocar recursos incorretamente.
Loop de Adaptação Humana: Descreve um processo onde meta-reflexões das execuções dos agentes são usadas para refinar iterativamente o harness do agente (ferramentas, memória, verificação) antes de congelá-lo para execuções futuras.

Resultados Experimentais

A avaliação foi conduzida nos 25 jogos públicos do ARC-AGI-3 (183 níveis no total) usando LLMs de fronteira (Claude Opus 4.8, GPT-5.6 Sol, e Opus 5).

Seleção de Política Pareada (Opus 4.8)

Raciocínio Direto (Sem Modelo): Alcançou 79.07 RHAE (Eficiência de Ação Relativa Humana).
Única (Autorada pelo Ator): Alcançou 85.36 RHAE.
Orquestrador (Delegado): Alcançou 88.49 RHAE, o mais alto entre as políticas pareadas.
Gatilho (Reparo Automático): Alcançou 83.07 RHAE. Apesar de produzir modelos com a maior correspondência de transição aceita (88.1%), teve desempenho inferior ao Orquestrador. Essa lacuna ilustra que a simulação precisa da dinâmica é insuficiente sem a correta inferência do objetivo e alocação eficiente de recursos.

Avaliação de Modelos de Fronteira (Política Orquestrador Selecionada)

Usando a política Orquestrador com modelos mais fortes:

GPT-5.6 Sol: Atingiu 100.00 RHAE, completando todos os 25 jogos e 183 níveis em 7.766 ações pontuadas.
Opus 5: Atingiu 100.00 RHAE, completando todos os 183 níveis em 6.641 ações (usando 14,5% menos ações que o GPT-5.6 Sol).
Eficiência: O Opus 5 usou 61% menos ações pontuadas do que a base humana agregada oficial.
Custo: A execução do Opus 5 custou aproximadamente US$ 2,99k (equivalente a API), significativamente menor do que execuções comparáveis de outros sistemas (ex: execuções de verificação de Rodionov estimadas em US$ 13,6k–US$ 15,5k sob condições similares).

Análise Qualitativa

Estudos de caso (ex: cd82, tu93, sk48) revelaram:

Sucesso: Modelos podem substituir tentativa e erro com sequências verificadas (ex: cd82) e suportar busca sobre espaços de estados reduzidos (ex: tu93).
Falha: Um modelo de transição preciso pode falhar se o objetivo for identificado incorretamente (ex: sk48, onde o modelo simulou perfeitamente as mecânicas, mas falhou em identificar o objetivo).
Reparo: O sistema localizou com sucesso incompatibilidades (ex: explosões de patrulha inesperadas em tu93) e reparou o modelo para permitir o replanejamento.

Significância e Alegações

O artigo afirma que a abstração ativa é um componente crítico da inteligência geral: a capacidade de gerar modelos testáveis a partir de interações dispendiosas e decidir quando utilizá-los.

Modelagem Seletiva: Os resultados sugerem que a modelagem de mundo é mais eficaz quando delegada a um especialista (Orquestrador) do que quando forçada automaticamente (Gatilho) ou tratada apenas pelo ator.
Precisão vs. Utilidade: A simulação de alta fidelidade das transições do ambiente é necessária, mas não suficiente para o sucesso; o sistema deve também inferir corretamente os objetivos e alocar recursos computacionais de forma eficiente.
Arquitetura do Sistema: Os ganhos de performance (de 79.07 para 100.00 RHAE) são atribuídos ao sistema de agente composto (harness + modelo + política) e não apenas ao modelo de base. O artigo enfatiza que a inteligência geral depende de maquinário que possa organizar experiência limitada em modelos de tarefas e adaptar o sistema que suporta esse processo.
Modéstia: Os autores reconhecem que estes resultados caracterizam o desempenho em um testbed público fixo. Eles observam que o loop de adaptação atual é mediado por humanos (os autores refinam o harness com base nas notas do agente) e que o trabalho futuro deve automatizar este loop externo para alcançar a verdadeira auto-melhoria. Eles também alertam que o alto custo de inferência (chamadas de API) troca computação não pontuada por eficiência de ação pontuada, um compromisso que difere da eficiência biológica.