From Checklists to Clusters: A Homeostatic Account of AGI Evaluation

Imagine que você está tentando entender o que torna uma pessoa "inteligente". Por muito tempo, cientistas tentaram medir isso aplicando às pessoas uma lista gigante de diferentes tarefas — resolver quebra-cabeças matemáticos, memorizar histórias, identificar padrões em formas e compreender a linguagem. Eles chamam isso de "domínios". A ideia é que, se você se sair bem em todos eles, possui alta inteligência. Mas há um problema: quando aplicamos esses testes, geralmente tratamos cada tarefa como se fosse igualmente importante. É como avaliar um aluno dando o mesmo peso à sua habilidade de amarrar os sapatos e à sua habilidade de escrever um poema. Além disso, esses testes são geralmente "instantâneos". Você faz o teste uma vez, obtém uma pontuação e pronto. Você não sabe se o aluno ainda será capaz de resolver o quebra-cabeça na semana que vem, ou se ele desmoronará se você tornar o teste um pouco mais difícil ou se esperar alguns dias antes de ele tentar novamente.

Este é o mundo da avaliação da Inteligência Artificial Geral (AGI). A AGI é o sonho de construir um computador que seja tão inteligente e flexível quanto um ser humano, capaz de aprender e resolver problemas em qualquer situação, não apenas naquela para a qual foi programado. Atualmente, pesquisadores testam esses sistemas de IA usando essas mesmas listas de verificação "instantâneas". Mas, se quisermos saber se uma IA é verdadeiramente "geralmente" inteligente, precisamos saber se sua inteligência é real e duradoura, ou se é apenas um truque de sorte que quebra quando as coisas ficam estressantes. Este artigo faz uma grande pergunta: Como paramos de apenas contar pontos e começamos a medir a estabilidade de uma mente de máquina?

Os autores deste artigo sugerem que a maneira como estamos testando a IA é um pouco como julgar um carro apenas pela velocidade com que ele pode dirigir em linha reta em um dia ensolarado. Ele pode parecer rápido, mas isso não nos diz se o motor aguentará em uma estrada acidentada ou se os freios funcionarão quando estiver chovendo. Eles argumentam que a inteligência real — seja humana ou de máquina — não é apenas uma lista de habilidades. Em vez disso, é mais como um agrupamento de propriedades homeostáticas. Isso é uma forma sofisticada de dizer que é um grupo de habilidades que permanecem conectadas porque existem mecanismos internos mantendo-as unidas, mesmo quando as coisas ficam complicadas ou mudam.

Pense na inteligência como uma fogueira bem construída. Os "domínios" (matemática, linguagem, lógica) são os troncos. Mas a própria fogueira é o calor e a chama que mantêm todos os troncos queimando juntos. Se você apenas empilhar os troncos (as habilidades), mas não tiver o mecanismo para mantê-los queimando (a parte homeostática), um pouco de vento (um estressor ou um atraso) apagará o fogo. O artigo sugere que os testes atuais apenas verificam se os troncos estão lá, mas ignoram se o fogo consegue sobreviver a uma rajada de vento.

Os autores propõem duas mudanças principais para corrigir isso. Primeiro, eles dizem que não devemos tratar cada questão de teste como igualmente importante. Assim como alguns troncos são mais densos e queimam mais intensamente, algumas habilidades são mais "centrais" para manter todo o fogo aceso. Eles sugerem o uso de um novo método de pontuação chamado pontuação de prioridade de centralidade (centrality-prior score). Isso pesaria os testes com base em quanto uma habilidade específica ajuda a manter todo o sistema estável, emprestando ideias de como a inteligência humana já é estudada. É como avaliar um aluno dando mais peso à sua capacidade de aprender coisas novas do que à sua capacidade de memorizar um único fato.

Segundo, eles querem deixar de depender de instantâneos únicos. Em vez disso, propõem um Índice de Estabilidade de Agrupamento. Isso não é apenas sobre obter uma pontuação alta uma única vez; é sobre provar que a IA consegue manter essa pontuação ao longo do tempo e sob pressão. Eles sugerem testar a IA de três maneiras específicas:

1. Persistência de Perfil: A IA se lembra de como fazer as coisas dias ou semanas depois?
2. Aprendizado Duradouro: Se você ensinar algo novo, isso permanece ou ela esquece imediatamente?
3. Correção de Erros: Se a IA cometer um erro, ela consegue corrigi-lo por conta própria sem travar?

O artigo não afirma ter construído um teste perfeito ainda, nem que já resolvemos o problema de medir a AGI. Em vez disso, os autores sugerem que esses novos métodos seriam melhores. Eles oferecem um roteiro para que laboratórios testem essas ideias. Eles propõem que esses testes podem ser feitos mesmo se os laboratórios não souberem exatamente como a IA é construída por dentro (uma abordagem de "caixa-preta"). Eles também fazem algumas previsões sobre o que aconteceria se usássemos esses novos testes, sugerindo que muitos sistemas de IA atuais poderiam parecer muito diferentes — talvez menos "geralmente" inteligentes e mais frágeis — uma vez que começarmos a verificar a estabilidade e a resistência ao estresse.

Em resumo, o artigo argumenta que precisamos passar de marcar caixas para verificar se o fogo permanece aceso. Ao pesar as habilidades mais importantes e testar se a IA consegue lidar com atrasos e erros, podemos finalmente obter uma imagem mais clara de se uma máquina é verdadeiramente inteligente ou se está apenas fingindo.