💻 ciência da computação

Can Environment-Agnostic Agents Solve ARC-AGI-3 from Warped and Noisy Images?

Este artigo demonstra que, embora agentes agnósticos ao ambiente tenham dificuldade em resolver tarefas ARC-AGI-3 a partir de imagens fortemente deformadas e ruidosas, o modelo GPT-6-astra alcança um desempenho próximo ao teto sob estas condições extremas, superando significativamente o GPT-5.6-sol ao combinar efetivamente o processamento de imagem com a tomada de decisão sob incerteza.

Autor original: Sergey Rodionov

Publicado 2026-11-10

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autor original: Sergey Rodionov

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelo autor. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um programa de computador que deve aprender a jogar um jogo não lendo regras ou vendo uma grade limpa de números, mas olhando para uma imagem do tabuleiro do jogo. Este é o desafio de construir um agente agnóstico ao ambiente: uma única mente de software que pode entrar em diferentes mundos digitais, descobrir como eles funcionam apenas olhando e tomar ações para vencer, tudo isso sem ser reprogramado para cada novo jogo. A dificuldade se multiplica quando a imagem que ela vê não está clara. E se a imagem estiver borrada com estática, ou se o próprio tabuleiro parecer torto, esticado ou retorcido como se fosse visto através de um espelho de parque de diversões? No mundo real, nossos olhos e cérebros são extraordinariamente bons em corrigir essas distorções, mas para uma máquina, ver um alvo que está deformado e então descobrir exatamente onde clicar no tabuleiro original e plano é um teste profundo de inteligência. Esta questão está no cerne de um novo estudo que explora se a inteligência artificial pode aprender a enxergar claramente através de uma névoa de caos visual.

Pesquisadores da SingularityNET decidiram testar isso alimentando um tipo específico de agente artificial com uma série de quebra-cabeças de lógica conhecidos como ARC-AGI-3. Esses quebra-cabeças são projetados para testar o raciocínio, exigindo que o solucionador descubra regras e padrões ocultos. Neste experimento, o agente nunca recebeu uma lista limpa de números ou uma descrição textual do tabuleiro. Em vez disso, recebeu apenas imagens. Para tornar a tarefa brutalmente difícil, os pesquisadores corromperam deliberadamente essas imagens. Eles adicionaram estática aleatória, semelhante ao grão visto em uma televisão antiga, e aplicaram deformações geométricas que dobraram as linhas retas do tabuleiro em curvas ou mudaram a perspectiva inteiramente. Crucialmente, a distorção mudava a cada quadro que o agente via, o que significa que o tabuleiro poderia parecer diferente de um momento para o outro, mesmo que o estado do jogo não tivesse mudado. O agente tinha que olhar para uma imagem retorcida e ruidosa, entender o que estava acontecendo e, então, enviar uma coordenada precisa no tabuleiro original e não deformado para fazer um movimento. Era como tentar acertar um alvo em uma parede enquanto o observa através de uma janela trêmula e suja que muda de forma constantemente.

O estudo comparou duas versões diferentes da inteligência artificial, uma mais antiga e uma mais nova, para ver como lidavam com esse caos visual. A versão mais antiga, ao enfrentar as imagens retorcidas, teve dificuldades significativas. Seu desempenho caiu drasticamente, especialmente quando as imagens estavam dobradas de formas complexas. Os pesquisadores descobriram que o dobramento da imagem era muito mais confuso para a máquina do que o ruído estático sozinho. Para ajudar o agente mais antigo, os cientistas introduziram uma ferramenta simples: um recurso de "feedback de cursor". Isso permitia que o agente propusesse uma localização no tabuleiro e visse uma imagem de onde aquele ponto apareceria na imagem distorcida, essencialmente permitindo que ele verificasse seu palpite antes de se comprometer. Isso ajudou o agente mais antigo a recuperar parte de sua habilidade perdida, particularmente em jogos que exigiam cliques, mas não conseguiu superar as distorções mais severas. Mesmo com essa ajuda, o agente mais antigo falhou em resolver a maioria dos quebra-cabeças mais difíceis quando as imagens estavam extremamente ruidosas e fortemente deformadas.

A inteligência artificial mais nova, no entanto, apresentou uma resiliência surpreendente. Diante das mesmas distorções severas que quase paralisaram o modelo mais antigo, este agente resolveu quase todos os quebra-cabeças, alcançando uma taxa de sucesso de mais de noventa e cinco por cento mesmo sem a ferramenta de feedback de cursor. Ele conseguiu navegar pelas imagens retorcidas e ruidosas e identificar corretamente as coordenadas no tabuleiro original. Os pesquisadores levaram este agente ainda mais longe em testes de acompanhamento, aumentando o ruído para níveis onde os pixels individuais eram quase indistinguíveis e adicionando rotações aleatórias ao tabuleiro. Mesmo sob essas condições extremas, o agente não colapsou. Embora sua taxa de sucesso geral tenha caído, ele ainda conseguiu resolver uma parte significativa dos jogos. Em um jogo específico, ele alcançou uma pontuação quase perfeita, apesar de as imagens estarem tão ruidosas e distorcidas que pareciam quase irreconhecíveis para um observador humano.

Aprofundando-se em como esse agente teve sucesso, os pesquisadores analisaram os arquivos que ele criou durante seu jogo. Eles descobriram que o agente havia escrito seus próprios scripts de computador para processar as imagens. Ele usou essas ferramentas para limpar o ruído e endireitar as linhas deformadas, efetivamente reconstruindo uma visão clara do tabuleiro a partir da entrada caótica antes de tomar suas decisões. Isso sugere que o agente não apenas "adivinhou" o caminho através da confusão; ele construiu ativamente uma imagem mais clara da realidade usando ferramentas que desenvolveu sobre a hora. O estudo conclui que, embora a distorção visual severa possa quebrar modelos mais simples, agentes mais avançados podem aprender a compensar isso construindo modelos internos do jogo e usando ferramentas de processamento de imagem para corrigir sua visão. As descobertas sugerem que o caminho para uma inteligência artificial robusta pode residir na capacidade de não apenas ver o mundo como ele é apresentado, mas de trabalhar ativamente para compreender o mundo por trás da distorção.

Resumo Técnico: Podem Agentes Agnósticos ao Ambiente Resolver o ARC-AGI-3 a partir de Imagens Deformadas e Ruidosas?

Declaração do Problema

Este estudo investiga a robustez de agentes agnósticos ao ambiente ao resolver jogos interativos sob severa corrupção visual. Especificamente, testa se um agente consegue resolver os jogos ARC-AGI-3 (Abstraction and Reasoning Corpus para Inteligência Artificial Geral) quando o tabuleiro do jogo é apresentado exclusivamente através de imagens geometricamente deformadas e ruidosas.

O desafio central reside na desconexão entre observação e ação:

Corrupção Visual: O agente recebe imagens renderizadas sujeitas a ruído de pixels Gaussiano independente, transformações projetivas aleatórias (homografias) e deformações não lineares suaves (Deformação de Forma Livre - FFD) para cada quadro, incluindo quadros intermediários.
Desalinhamento de Coordenadas: Para jogos que exigem cliques, o agente deve enviar coordenadas no tabuleiro original, não deformado, de $64 \times 64$ . No entanto, o alvo aparece em uma localização distorcida na imagem deformada. O agente deve inferir a transformação que mapeia a visão deformada de volta ao sistema de coordenadas original sem parâmetros de transformação explícitos.
Agnosticismo ao Ambiente: A implementação do agente permanece inalterada entre os ambientes; ele depende exclusivamente da descrição da tarefa fornecida e das observações de imagem, sem acesso a grades textuais ou representações de estado numéricas.

Metodologia

Configuração Experimental

O estudo utiliza o agente Stop-and-report (uma implementação agnóstica ao ambiente avaliada anteriormente no ARC-AGI-3, AGI Maze e Terminal-Bench) conectado através do framework EnvTraverse. Os experimentos são divididos em um Estudo Principal e um Estudo de Acompanhamento.

Ambientes:

Clean-view (Visão Limpa): Linha de base com imagens de tabuleiro em PNG não modificadas.
Distorted-view (Visão Distorcida): Introduz ruído de pixels ( $\sigma = 40, 80, 120$ ), artefatos de compressão JPEG, transformações projetivas aleatórias e deformação não linear (moderada e forte).
Cursor-feedback (Feedback de Cursor): Estende o Distorted-view com uma ação auxiliar highlight_pixel(x,y). Esta ação renderiza o estado atual duas vezes: uma sem marcação e outra com um cursor apontando para a localização transformada da coordenada proposta no tabuleiro. Isso fornece feedback visual sobre o mapeamento de coordenadas sem corrigir as coordenadas ou consumir o orçamento de ações.

Modelos Testados:

GPT-5.6-sol: Avaliado em todos os tipos de distorção e níveis de ruído.
GPT-6-astra: Avaliado sob as condições mais severas para sondar os limites de desempenho.

Métricas:
O desempenho é medido usando a Eficiência de Ação Humana Relativa (RHAE), que combina taxas de conclusão de nível com eficiência de ação em relação às contagens de referência humana.

Experimentos de Acompanhamento

Para sondar os limites do GPT-6-astra, o autor conduziu experimentos sem o feedback do cursor sob:

Rotação Aleatória: Adicionando uma rotação aleatória do tabuleiro ( $0^\circ$ – $360^\circ$ ) após cada ação, combinada com deformação forte e ruído $\sigma=120$ .
Ruído Extremo: Aumentando o ruído Gaussiano para $\sigma = 360$ e $\sigma = 1200$ sob deformação não linear forte.
Revisão de Protocolo: Abordando um problema de "protocolo travado" onde o agente parava prematuramente ao enfrentar incerteza. Um agente revisado (Stop-and-report3) foi testado com instruções explícitas para realizar ações significativas em vez de parar.

Principais Resultados

1. Impacto da Distorção no GPT-5.6-sol

Distorção Geométrica vs. Ruído de Pixels: A distorção geométrica (homografia e deformação) prejudicou o desempenho significativamente mais do que o ruído de pixels isolado. Sob homografia aleatória, o RHAE geral caiu de ~91% (limpo) para ~50%.
Feedback do Cursor: O feedback restaurou parcialmente o desempenho, particularmente para jogos de apenas clique (onde o RHAE aumentou em ~~50 pontos percentuais sob homografia). No entanto, sob a deformação e o ruído mais fortes ( $\sigma=120$ , FFD forte), o desempenho permaneceu baixo (~~15% RHAE) mesmo com feedback.
Deformação Não Linear: A deformação não linear forte reduziu o RHAE do GPT-5.6-sol para 16,23% (sem feedback) e 14,48% (com feedback) em $\sigma=120$ .

2. Desempenho do GPT-6-astra

Alta Robustez: O GPT-6-astra alcançou um desempenho próximo ao teto (95,44% RHAE) sob as condições mais severas do estudo principal (deformação forte + $\sigma=120$ ) sem feedback do cursor, completando 24/25 jogos. Com feedback, completou todos os 25 jogos (99,53% RHAE).
Limites de Acompanhamento:
- Rotação: Adicionar rotação aleatória reduziu o RHAE apenas modestamente (95,44% $\to$ 93,06%).
- Ruído Extremo: Em $\sigma=360$ , o agente revisado (Stop-and-report3) alcançou 71,77% de RHAE. Em $\sigma=1200$ , o desempenho caiu para 17,37% de RHAE, embora o agente ainda tenha completado 10/25 jogos.
- Estudo de Caso (lf52): Em $\sigma=1200$ , o agente alcançou 99,38% de RHAE no jogo lf52. Uma análise do espaço de trabalho do agente revelou que ele gerou 31 scripts Python e quase 1.000 imagens processadas, utilizando OpenCV para reduzir o ruído e desdeformar as observações antes de tomar decisões.

Principais Contribuições

Quantificação da Robustez Visual: O estudo demonstra que a distorção geométrica é uma barreira mais severa para agentes agnósticos ao ambiente do que o ruído de pixels, dificultando especificamente ações baseadas em coordenadas.
Avaliação do Feedback do Cursor: Estabelece que o feedback visual (mostrando onde uma coordenada proposta cai) pode auxiliar significativamente os agentes no mapeamento de visões distorcidas para as coordenadas originais, embora não possa compensar totalmente a corrupção extrema.
Uso de Ferramentas pelo Agente: O estudo fornece evidência empírica de que agentes avançados (GPT-6-astra) podem desenvolver e utilizar autonomamente ferramentas de processamento de imagem (redução de ruído, desdeformação) dentro de seu espaço de trabalho para resolver tarefas sob incerteza extrema, em vez de depender apenas da percepção visual bruta.
Refinamento de Protocolo: A identificação e correção de uma ambiguidade de "protocolo travado" revelou que os agentes podem interromper prematuramente ao enfrentar alta incerteza, um fator que deve ser gerenciado no design de agentes robustos.

Significância e Alegações

O artigo afirma que agentes agnósticos ao ambiente podem resolver jogos interativos complexos a partir de entradas visuais severamente corrompidas, desde que o modelo subjacente possua capacidade de raciocínio suficiente e a habilidade de utilizar ferramentas externas.

Robustez: O GPT-6-astra demonstrou capacidade de manter alto desempenho sob condições que tornaram o GPT-5.6-sol ineficaz, sugerindo um salto qualitativo no raciocínio visual e adaptação.
Mecanismo de Sucesso: O autor sugere que o sucesso provável envolve uma combinação de processamento de imagem ativo (para recuperar a estrutura do tabuleiro) e tomada de decisão sob incerteza substancial. A capacidade do agente de reconhecer mudanças de transformação (ex: rotação) e compensar via ferramentas, em vez de interpretar cada imagem rotacionada diretamente, parece crucial.
Limitações: O autor nota modestamente que a exposição prévia a jogos públicos do ARC-AGI-3 pode ter contribuído para as altas pontuações, e que o desempenho em jogos não vistos e mantidos deve ser testado. Além disso, embora o agente tenha tido sucesso em casos específicos sob ruído extremo, o desempenho geral declinou significativamente nos níveis de ruído mais altos ( $\sigma=1200$ ), indicando os limites atuais da robustez visual.

O estudo conclui que, embora a distorção geométrica represente um desafio significativo, agentes equipados com capacidades de uso de ferramentas e raciocínio robusto podem superar essas barreiras para alcançar um desempenho próximo ao humano em ambientes visuais interativos.