Relay-Bench: Evaluating LLMs on Multi-Domain Reasoning Chains
O Relay-Bench é um benchmark holístico, apenas de texto, projetado para avaliar grandes modelos de linguagem em cadeias de raciocínio de múltiplos domínios ao apresentar problemas compostos não saturados que exigem a integração de diversas habilidades, como codificação, matemática e busca na web, dentro de um único prompt, onde o modelo líder GPT-5.5 (xHigh) alcança uma pontuação de 43,3%.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Imagine um mundo onde o seu assistente inteligente favorito não seja apenas um robô de curiosidades ou um processador de códigos, mas um verdadeiro mago multitarefa. No campo em rápida evolução da Inteligência Artificial, pesquisadores estão constantemente construindo "benchmarks" — que são essencialmente testes padronizados — para ver o quão inteligentes esses cérebos digitais realmente são. Por muito tempo, esses testes eram como disciplinas separadas na escola: um exame para matemática, outro para história e um terceiro para programação. Mas a vida real não funciona assim. Quando você pede a um humano para planejar uma viagem, ele não apenas calcula distâncias; ele verifica a previsão do tempo, lê avaliações, reserva um hotel e talvez até escreva um e-mail engraçado para um amigo, tudo de uma só vez. Este artigo mergulha em um canto específico da pesquisa de IA chamado "cadeias de raciocínio" (reasoning chains), onde o objetivo é ver se um modelo consegue equilibrar muitos tipos diferentes de tarefas ao mesmo tempo sem deixar a peteca cair. A grande questão que todos se importam é: esses modelos de IA conseguem lidar com os problemas desordenados e complicados de várias etapas do mundo real, ou eles ficam confusos e desistem quando as coisas ficam muito cheias?
Apresentamos o Relay-Bench, um novo teste superdesafiador projetado para ver se os modelos de IA conseguem correr uma "corrida de revezamento" da mente. Em vez de pedir a um modelo para resolver um problema de matemática ou escrever um poema, os criadores deste teste encadeiam toda uma sequência de tarefas diferentes — como resolver um enigma matemático, encontrar um fato específico na web, escrever um pouco de código e decodificar uma mensagem secreta — tudo dentro de um único e massivo prompt. Pense nisso como uma fase de um videogame onde você tem que pular sobre um abismo, resolver um enigma para abrir uma porta e depois enfrentar um chefe, tudo isso sem apertar o botão de "reset". Os pesquisadores construíram 31 desses desafios complexos, alguns dos quais são tão longos e repletos de informações falsas que parecem a leitura de um romance apenas para encontrar um único número. Eles também adicionaram uma camada de "código secreto", onde cada palavra nas instruções é substituída por um estranho código de três letras, forçando a IA a decodificar a mensagem antes mesmo de poder começar a resolver os problemas.
Quando eles submeteram os três melhores modelos de IA da época (GPT-5.5, Gemini 3.1 Pro e Claude Opus 4.7) por essa prova de resistência, os resultados foram um choque. Mesmo o modelo mais inteligente, o GPT-5.5, acertou apenas cerca de 43,3% das respostas. Isso é menos da metade! Os outros modelos pontuaram ainda menos, com um deles conseguindo apenas 16,7%. O artigo sugere que, embora esses modelos de IA estejam ficando muito bons em tarefas únicas, eles têm dificuldade significativa quando solicitados a encadear várias habilidades diferentes, especialmente quando as instruções são confusas ou a tarefa é muito longa. Na verdade, o teste foi tão difícil que muitos modelos simplesmente desistiram ou ficaram presos em loops, incapazes de terminar a corrida.
Os pesquisadores também descobriram que esses modelos às vezes "alucinam", que é uma forma elegante de dizer que eles inventam respostas quando não sabem a solução. Um modelo, o Claude Opus 4.7, foi muito cauteloso; ele se recusou a responder muitas das perguntas codificadas inteiramente, provavelmente porque seus filtros de segurança eram rigorosos demais. Outro modelo, o Gemini 3.1, tentou adivinhar com mais frequência, mas acabou com mais respostas erradas. O estudo destaca que os atuais modelos de IA ainda estão longe de serem os especialistas generalistas que esperamos. Eles são como alunos brilhantes que podem gabaritar uma prova de matemática, mas podem entrar em pânico se você pedir para fazer matemática enquanto traduz simultaneamente um poema e procura uma receita. Os autores sugerem que pode levar mais um ou dois anos antes que os modelos de IA se tornem bons o suficiente para passar consistentemente nesse tipo de teste de "corrida de revezamento", e alertam que, à medida que os modelos ficarem mais inteligentes, esses testes precisarão ficar ainda mais difíceis para acompanhar o ritmo.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.