Position: Evaluation Scores Are Perishable Knowledge Claims

A Armadilha do Placar: Por Que o "Médio" Pode Ser uma Mentira

Imagine que você é um detetive tentando resolver um mistério usando pistas de três testemunhas diferentes. Uma testemunha é um robô superpreciso que nunca mente, mas que só viu o crime de longe. Outra é um humano tagarela que viu tudo de perto, mas que às vezes inventa coisas para parecer descolado. A terceira é um espelho que apenas repete o que o suspeito diz. Se você tirar a "média" de suas histórias, poderá obter uma versão dos fatos organizada e equilibrada que parece perfeitamente razoável. Mas aqui está o detalhe: se a testemunha humana disser que o suspeito estava usando um chapéu vermelho (quando na verdade ele usava um azul), esse único detalhe errado estraga toda a história, não importa o quão perfeita tenha sido a descrição do clima feita pelo robô. No mundo da Inteligência Artificial, especificamente quando tentamos medir o quão inteligentes são esses cérebios computacionais, frequentemente cometemos exatamente este erro. Tratamos as pontuações de testes como problemas matemáticos simples, onde podemos apenas somá-los e dividi-los pelo número de testes para obter uma "nota final". Mas os autores deste artigo argumentam que essas pontuações não são apenas números; elas são afirmações sobre a verdade que possuem datas de validade, limites específicos de aplicação e diferentes níveis de confiabilidade. Se ignorarmos essas regras ocultas e apenas calcularmos a média de tudo, acabaremos com uma "Inflação de Confiança" — uma forma elegante de dizer que nos tornamos excessivamente confiantes em um sistema que pode, na verdade, estar quebrado das maneiras mais perigosas.

A Grande Ideia do Artigo: Pare de Tirar a Média, Comece a Verificar o Elo Mais Fraco

O artigo, escrito por Sankalp e Shlok Gilda, argumenta que a forma atual de classificar modelos de IA é fundamentalmente falha porque trata todos os resultados de testes como se fossem igualmente fortes e permanentes. Os autores chamam esse problema de Inflação de Confiança. Isso acontece quando misturamos diferentes tipos de evidências — como verificações computacionais automatizadas, opiniões humanas e juízes de IA — em uma única pontuação "média". O problema é que um único ponto fraco pode destruir a imagem inteira, mas a média esconde essa fraqueza.

Para explicar isso, os autores usam uma analogia simples: imagine uma corrente. A força de toda a corrente não é determinada pela força média de todos os seus elos; ela é determinada pelo elo mais fraco. Se você tiver uma corrente onde 99 elos são feitos de aço e um é feito de papel, a corrente inteira se romperá sob o peso de uma pena. Da mesma forma, se um modelo de IA for ótimo em escrever poesia, mas terrível em dizer a verdade (factualidade), uma pontuação "média" pode fazê-lo parecer um polivalente decente. Mas, no mundo real, se essa IA for usada para dar conselhos médicos, sua incapacidade de dizer a verdade é um desastre, independentemente de quão bonita seja sua poesia.

O artigo sugere que paremos de usar a "média" como nosso método padrão. Em vez disso, devemos usar uma abordagem de "elo mais fraco", especialmente para tarefas críticas de segurança. Isso significa que, se uma IA falhar em apenas um teste importante, sua classificação geral deve cair para refletir essa falha, em vez de ser sustentada por suas outras boas pontuações.

As Três Regras da Verdade da IA

Os autores propõem que cada pontuação de teste de IA deve vir com um "rótulo" que nos diga três coisas específicas, de forma muito semelhante a uma embalagem de alimento que informa o que tem dentro, de onde vem e quando expira:

1. Formalidade (Quão forte é a evidência?): Nem todos os testes são criados iguais. O artigo cria um sistema de "níveis" (tiers).

   • Nível F0 (O Mais Fraco): Inclui pontuações de outros modelos de IA julgando o trabalho ou opiniões de multidões (crowdsourcing). Os autores sugerem que estas só podem ser confiadas até um teto de confiabilidade de 0,70, pois juízes de IA costumam apenas gostar de respostas longas e sofisticadas, mesmo quando estão erradas.
   • Níveis F1 e F2 (Mais Fortes): São verificações computacionais estruturadas ou testes humanos controlados. São mais confiáveis, mas mesmo os testes humanos têm limites (confiabilidade até 0,95).
   • Nível F3 (O Mais Forte): É uma prova matemática formal. Esta é a única que pode atingir uma confiabilidade perfeita de 1,00.
   • A Regra: Se você misturar uma pontuação de Nível F0 com uma de Nível F2, todo o resultado é limitado ao nível F0 (0,70). Você não pode tornar um teste fraco forte apenas adicionando um teste forte a ele.

2. Escopo (Onde isso se aplica?): Uma pontuação de teste é verdadeira apenas para a situação específica em que foi testada. Se uma IA é testada em perguntas de inglês, isso não significa que ela seja boa em espanhol. Se for testada em conhecimentos gerais, não significa que seja boa em aconselhamento jurídico. O artigo argumenta que as pontuações devem declarar explicitamente seus limites para que não utilizemos acidentalmente no lugar errado.

3. Janelas de Validade (Quando expira?): As pontuações de teste têm um prazo de validade. Assim como o leite, elas estragam. Os autores apontam que, uma vez que um modelo de IA tenha visto as perguntas do teste durante seu treinamento (um problema chamado "contaminação"), a pontuação torna-se sem sentido. Eles sugerem que cada pontuação deve ter uma data de validade. Uma opinião gerada por IA pode ser válida por apenas algumas semanas, enquanto uma prova matemática formal pode durar para sempre.

Evidência do Mundo Real: A "Inflação de Confiança" em Ação

Os autores não apenas falaram de teoria; eles construíram um sistema de teste real para agentes de IA e descobriram alguns erros assustadores.

• O Bug Silencioso: Eles descobriram que uma incompatibilidade entre suas linguagens de código computacional fez com que cada falha fosse registrada como um sucesso. O sistema estava mentindo para eles, inflando as pontuações sem que ninguém percebesse. Isso é "inflação de confiança" no nível da infraestrutura.
• A Mentira da "Média": Eles testaram essa teoria em um famoso ranking público chamado HELM. Eles analisaram 54 dos principais modelos de IA em 10 cenários diferentes.
  • Quando classificaram os modelos pela pontuação média, os 5 melhores modelos eram um grupo.
  • Quando os classificaram pelo elo mais fraco (a pontuação mais baixa em qualquer categoria), os 5 melhores modelos eram um grupo completamente diferente.
  • Na verdade, a sobreposição entre as duas listas dos 5 melhores era zero. Os modelos que pareciam os melhores "polivalentes" pelo método da média eram, na verdade, aqueles com as maiores fraquezas ocultas. Os modelos que pareciam "médios" pelo método antigo eram, na verdade, os mais confiáveis porque não apresentavam falhas catastróficas.

O Que Isso Significa para o Futuro

O artigo conclui com um chamado à ação para a comunidade de IA. Eles querem que paremos de esconder a matemática por trás das pontuações.

• Mostre seu trabalho: Cada pontuação deve carregar um rótulo dizendo quão forte é a evidência, a que se aplica e quando expira.
• Escolha seu veneno: Se tivermos que combinar pontuações, devemos admitir qual método estamos usando. Estamos sendo otimistas (usando a média) ou conservadores (usando o elo mais fraco)? O artigo argumenta que, para a segurança, devemos adotar o método conservador do "elo mais fraco" como padrão, mas que ao menos devemos admitir que fizemos essa escolha.
• Controle de versão: Assim como o código de software, a maneira como registramos os resultados dos testes deve ter controle de versão para que não comparemos acidentalmente maçãs com laranjas.

Os autores admitem que este é um "artigo de posição" (position paper), o que significa que estão propondo uma nova forma de pensar baseada em lógica sólida e experiência de engenharia, em vez de um novo experimento massivo que prove tudo 100% corretamente. Eles reconhecem que ser excessivamente conservador pode fazer com que bons modelos pareçam ruins, mas argumentam que é melhor ser seguro do que implantar um sistema que parece ótimo na média, mas que falha de uma forma que prejudica as pessoas. Ao tornar transparente o "status epistêmico" (a veracidade e os limites) das pontuações, podemos tomar decisões melhores sobre quais sistemas de IA confiar.