ExecRubrics: Executable Tool-Augmented Rubrics for Verifiable and Efficient Long-Form Evaluation

No mundo em rápida evolução da inteligência artificial, os grandes modelos de linguagem tornaram-se ferramentas poderosas para escrever, raciocinar e resolver problemas. No entanto, à medida que estes sistemas se tornam mais capazes, surgiu um desafio significativo: como saber se as suas respostas são verdadeiramente boas? Atualmente, muitos desenvolvedores dependem de sistemas automatizados que atuam como juízes, onde uma inteligência artificial avalia o trabalho de outra. Embora este método seja rápido, opera frequentemente como uma caixa preta. O juiz pode atribuir uma pontuação alta a uma resposta sem explicar o porquê, ou pode perder erros subtis porque os critérios de "bondade" são vagos. Esta falta de transparência é perigosa em áreas de alto risco, como a saúde ou as finanças, onde uma única instrução mal compreendida pode levar a consequências graves. Para resolver isto, os investigadores têm tentado há muito tempo utilizar rubricas — listas detalhadas de critérios que decompõem uma tarefa complexa em partes menores e mais geríveis. Contudo, as rubricas tradicionais são escritas em linguagem natural, o que as deixa abertas à interpretação. Uma frase como "ser útil" ou "evitar erros médicos" pode significar coisas diferentes para juízes diferentes, reintroduzindo a própria subjetividade que o sistema visava eliminar.

Uma equipa de investigadores da Universidade Emory e da Universidade de Waterloo propôs um novo caminho chamado ExecRubrics. Em vez de deixar os critérios de avaliação como frases vagas, eles traduzem-nos em programas de computador compactos e executáveis. Imagine uma rubrica não como um parágrafo de texto que um humano ou uma máquina tem de ler e interpretar, mas como um conjunto preciso de instruções que um computador pode executar diretamente. Neste quadro, os critérios para uma boa resposta são escritos como código. Este código pode verificar coisas específicas, tais como se uma resposta menciona um aviso médico particular, segue um formato específico ou evita certos tipos de erros lógicos. Porque a lógica é escrita em código, ela é determinística, o que significa que produzirá sempre o mesmo resultado para a mesma entrada, eliminando a incerteza e a variabilidade encontradas na avaliação humana ou de caixa preta. Os investigadores testaram esta ideia em três benchmarks diferentes, incluindo um conjunto de dados de aconselhamento médico e outro focado na qualidade de argumentos. Eles descobriram que estas rubricas executáveis podiam classificar as respostas tão bem quanto, e por vezes melhor do que, as rubricas tradicionais baseadas em linguagem que dependem de caros juízes de IA. Mais importante ainda, o novo método foi dramaticamente mais rápido, correndo até 320 vezes mais depressa do que a abordagem padrão, ao mesmo tempo que fornecia um registo claro e inspecionável do motivo exato pelo qual uma resposta recebeu determinada pontuação.

O cerne deste trabalho reside na transformação da intenção de uma rubrica de uma descrição para uma operação. Num cenário padrão, uma rubrica pode dizer: "A resposta deve recomendar adequadamente cuidados urgentes". Para avaliar isto, um juiz de IA separado deve ler a resposta e decidir se ela cumpre esse padrão. Esta decisão é subjetiva e pode variar dependendo de qual modelo de IA está a realizar a julgamento. A abordagem ExecRubrics substitui este passo. Os investigadores utilizaram modelos de linguagem avançados para converter essa instrução de linguagem natural num programa Python. Este programa não se limita a ler o texto; ele varre ativamente o conteúdo em busca de padrões específicos. Pode procurar palavras-chave relacionadas com emergências, verificar se a resposta sugere consultar um médico ou verificar se evita dar falsas garantias para sintomas graves. Se a resposta contiver os elementos corretos, o código atribui pontos; se faltarem elementos ou se incluir conselhos perigosos, o código deduz pontos. Este processo não é uma simulação ou um palpite; é uma execução direta de regras. Os investigadores demonstraram que, ao permitir que estes programas utilizem ferramentas padrão de processamento de texto — bibliotecas que podem contar palavras, identificar nomes ou detetar negação — eles poderiam criar avaliadores ainda mais sofisticados. Estas ferramentas atuam como uma lupa para o código, permitindo que este detete detalhes que uma simples pesquisa de texto poderia perder, como se uma resposta médica trata corretamente uma alergia de um paciente ou se um argumento reconhece um contraponto.

Quando a equipa aplicou este método a conjuntos de dados do mundo real, os resultados foram impressionantes. Num benchmark para aconselhamento médico chamado HealthBench, as rubricas executáveis alcançaram uma precisão de preferência de 53 por cento, igualando o desempenho das melhores bases de comparação de rubricas de linguagem natural. Num conjunto de dados para qualidade de argumento chamado ArgQuality, as rubricas executáveis atingiram 92 por cento de precisão, superando os métodos tradicionais. Num terceiro teste num conjunto de dados de utilidade geral chamado HelpSteer, alcançaram 78 por cento de precisão. Estes números indicam que os avaliadores baseados em código conseguiram distinguir com sucesso entre respostas de alta qualidade e baixa qualidade sem necessitarem de um humano ou de uma IA separada para interpretar as regras a cada vez. A velocidade do sistema foi igualmente impressionante. Enquanto o método tradicional de usar um juiz de IA para avaliar cada critério levava um tempo significativo, as rubricas executáveis completavam as mesmas tarefas numa fração de segundo. Em alguns casos, o novo método foi 320 vezes mais rápido que o modo antigo. Esta velocidade, combinada com a capacidade de ver exatamente qual regra foi acionada, oferece uma alternativa poderosa para domínios onde a precisão e a velocidade são críticas.

Os investigadores também exploraram como estas rubricas lidam com lógica complexa que vai além de simples listas de verificação. Numa rubrica tradicional, os critérios são frequentemente tratados como itens independentes que são simplesmente somados. No entanto, a avaliação no mundo real exige frequentemente mais nuance, como lidar com exceções ou aplicar penalizações. As rubricas executáveis puderam codificar estas dependências diretamente. Por exemplo, numa consulta médica sobre uma alergia à penicilina, o código poderia ativar um ramo específico que recompensa a sugestão de alternativas não pertencentes à classe da penicilina, enquanto simultaneamente penaliza qualquer recomendação de amoxicilina. Este tipo de lógica condicional é difícil de capturar numa lista estática, mas é natural para um programa de computador. O estudo demonstrou que, ao incorporar ferramentas externas, as rubricas poderiam tornar-se ainda mais expressivas, verificando coisas como legibilidade, tom emocional ou a presença de avisos de segurança específicos. Esta flexibilidade sugere que a abordagem pode adaptar-se às necessidades únicas de diferentes domínios, da saúde ao raciocínio jurídico, sem perder a sua transparência.

Apesar destes sucessos, os autores salientam cuidadosamente que esta não é uma solução perfeita. Eles apontam que, embora a lógica de pontuação seja agora explícita, as rubricas em si são geradas por IA, o que significa que podem ser potencialmente falhas ou enviesadas se as instruções iniciais forem pouco claras. Existe também o risco de que, se estas rubricas forem usadas para treinar modelos de IA, os modelos possam aprender a "manipular" o sistema, incluindo palavras-chave ou estruturas específicas que acionam uma pontuação alta sem realmente fornecer uma boa resposta. Os investigadores enfatizam que as rubricas executáveis devem ser vistas como uma ferramenta para tornar a avaliação mais transparente e responsável, não como um substituto para a supervisão humana. Em ambientes de alto risco, especialistas humanos ainda são necessários para rever as regras, garantir que são justas e validar que o código está alinhado com as necessidades do mundo real. O estudo sugere que esta abordagem é um passo significativo em direção a um futuro onde a avaliação da IA não é apenas uma caixa preta, mas um processo claro, auditável, que pode ser inspecionado, editado e confiado.

As implicações deste trabalho estendem-se para além de apenas tornar a avaliação mais rápida. Ao transformar os critérios de avaliação em código, os investigadores criaram uma ponte entre os objetivos abstratos do julgamento humano e a execução precisa de programas de computador. Isto permite um nível de consistência que é difícil de alcançar com avaliadores humanos ou juízes de IA opacos. Se uma rubrica precisar de ser alterada, ela pode ser editada diretamente no código, e o impacto dessa mudança pode ser imediatamente testado. Isto torna o processo de avaliação mais dinâmico e responsivo a novos requisitos. O estudo também destaca o potencial para estas rubricas serem usadas no treino de modelos de IA, fornecendo um sinal claro do que constitui uma boa resposta. No entanto, os autores alertam que o sucesso do sistema depende fortemente da qualidade do código gerado e das ferramentas disponíveis para ele. Em alguns casos, as rubricas executáveis tiveram um desempenho ligeiramente inferior às melhores bases de comparação escritas por humanos, particularmente em cenários médicos complexos onde a nuance de uma situação pode ser difícil de capturar apenas em código. Isto sugere que, embora o método seja poderoso, ainda não é um substituto completo para a perícia humana.

Em última análise, a investigação oferece uma nova perspetiva sobre como podemos avaliar a qualidade da inteligência artificial. Ela afasta-se da ideia de uma pontuação única e misteriosa e aproxima-se de um sistema de regras transparentes e verificáveis. As descobertas sugerem que, ao tornar a lógica de avaliação explícita, podemos construir sistemas que são não só mais eficientes, mas também mais dignos de confiança. À medida que a IA continua a integrar-se em aspetos críticos da sociedade, a capacidade de auditar e compreender como as decisões são tomadas torna-se cada vez mais importante. O ExecRubrics fornece um quadro para fazer precisamente isso, transformando a arte abstrata de avaliar num processo concreto e executável de ciência. O trabalho não afirma ter resolvido todos os problemas da avaliação de IA, mas oferece um caminho promissor, onde os critérios de sucesso são tão claros e fiáveis como o código que os aplica.