🤖 AI

SPHERE: An Evaluation Card for Human-AI Systems

Este artigo apresenta o SPHERE, um cartão de avaliação de cinco dimensões projetado para padronizar e aumentar a transparência e o rigor das avaliações de sistemas humano-IA, o qual é demonstrado por meio de uma revisão de 39 sistemas e três recomendações para melhores práticas de avaliação.

Autores originais: Qianou Ma, Dora Zhao, Xinran Zhao, Chenglei Si, Chenyang Yang, Ryan Louie, Ehud Reiter, Diyi Yang, Tongshuang Wu

Publicado 2026-06-30

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Qianou Ma, Dora Zhao, Xinran Zhao, Chenglei Si, Chenyang Yang, Ryan Louie, Ehud Reiter, Diyi Yang, Tongshuang Wu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você acabou de construir um assistente robô de alta tecnologia, novinho em folha. Você está animado para mostrá-lo, mas antes de deixá-lo solto no mundo real, você precisa saber: Ele realmente funciona? É seguro? As pessoas gostam de usá-lo?

No mundo da Inteligência Artificial (especificamente os novos "Grandes Modelos de Linguagem" que podem conversar e escrever como humanos), pesquisadores estão construindo esses assistentes mais rápido do que conseguem descobrir como testá-los adequadamente. É como tentar julgar um maratonista olhando apenas para os seus tênis, ou testar o motor de um carro sem nunca dirigir o carro em uma estrada.

Este artigo apresenta uma ferramenta chamada SPHERE para consertar essa bagunça. Pense no SPHERE como um "Boletim" ou "Checklist" universal para qualquer pessoa que esteja construindo ou testando sistemas humano-IA. Em vez de adivinhar o que testar, o cartão faz cinco perguntas simples para garantir que a avaliação seja minuciante, justa e honesta.

Aqui está o que o cartão SPHERE pergunta, explicado com analogias do cotidiano:

1. O que estamos realmente testando? (O "O quê")

A Analogia: Se você testa um carro, está verificando apenas o motor (o modelo de IA) ou está verificando o carro inteiro, incluindo o volante, os assentos e o painel (o sistema completo)?
O Ponto do Artigo: Pesquisadores costumam testar apenas o "cérebro" (o modelo de IA) em um laboratório. Mas as pessoas interagem com o "carro" inteiro. O SPHERE nos lembra de testar a experiência completa, não apenas o código. Também pergunta: O que estamos tentando provar? Estamos testando se é rápido (Eficiência), se realiza o trabalho corretamente (Eficácia) ou se é divertido de usar (Satisfação)?

2. Como estamos testando? (O "Como")

A Analogia: Você está testando o carro em uma pista fechada com clima perfeito (Intrínseco) ou está dirigindo no trânsito da hora do rush com chuva e buracos (Extrínseco)? Você está usando um cronômetro para contar segundos (Quantitativo) ou está entrevistando o motorista sobre como ele se sentiu (Qualitativo)?
O Ponto do Artigo: O artigo descobriu que muitos pesquisadores testam apenas no "laboratório perfeito" (pista fechada). O SPHERE incentiva o teste no "mundo real" bagunçado e o uso de números (cronômetros) e histórias (entrevistas) para obter o quadro completo.

3. Quem está realizando o teste? (O "Quem")

A Analogia: Se você está construindo uma ferramenta para cirurgiões, você a testa com cirurgiões ou com pessoas aleatórias na rua? Se você usa um robô para avaliar o robô, esse robô é tendencioso?
O Ponto do Artigo: O artigo destaca um problema: muitos estudos usam "trabalhadores de crowd" (usuários aleatórios da internet) ou outros bots de IA para testar sistemas destinados a especialistas como médicos ou professores. O SPHERE pede aos pesquisadores que garantam que as pessoas (ou bots) que realizam o teste realmente representem as pessoas que usarão o sistema.

4. Quando estamos testando? (O "Quando")

A Analogia: Você testa um novo videogame por 5 minutos e diz: "É ótimo!"? Ou você deixa as pessoas jogarem por um mês para ver se elas ficam entediadas ou frustradas mais tarde?
O Ponto do Artigo: A maioria dos testes acontece em um "curto prazo" (como uma sessão de laboratório de 15 minutos). Isso ignora o "efeito de novidade" (pessoas gostando de algo apenas por ser novo). O SPHERE incentiva o teste de "longo prazo" para ver como as pessoas realmente usam a ferramenta ao longo de dias, semanas ou meses.

5. Como sabemos que o teste é válido? (A "Validação")

A Analogia: Se você faz uma prova de matemática, como sabe que o professor a corrigiu de forma justa? Ele usou a mesma rubrica para todos? Ele conferiu o próprio trabalho?
O Ponto do Artigo: Esta é a "meta-avaliação". Ela pergunta: Nosso teste é confiável por si só? Verificamos se diferentes pessoas obteriam os mesmos resultados? Garantimos que não enganamos os testadores? O artigo descobriu que muitos pesquisadores pulam esta etapa inteira.

O que eles descobriram?

Os autores pegaram este cartão SPHERE e o usaram para avaliar 39 artigos de pesquisa recentes sobre sistemas humano-IA. Eles descobriram que:

Pesquisadores de NLP (cientistas da computação) tendem a focar pesadamente no "motor" (o modelo) e em testes automatizados de curto prazo.
Pesquisadores de HCI (especialistas em interação humano-computador) focam mais no "motorista" (o usuário) e no uso no mundo real.
A Lacuna: Nenhum dos dois grupos está fazendo um trabalho perfeito. Muitos estudos perdem os testes do "mundo real", usam as pessoas erradas para testar ou não verificam se seus próprios testes são confiáveis.

As Três Grandes Recomendações

Com base em seu "boletim", os autores sugerem três formas de melhorar:

Teste no Mundo Real: Não teste apenas em um laboratório. Deixe as pessoas usarem o sistema em seus empregos ou vidas diárias reais.
Use Múltiplas Lentes: Não use apenas um tipo de teste. Misture números (quantitativo) com histórias (qualitativo) para cruzar seus resultados.
Avalie sua Própria Avaliação: Verifique rigorosamente seus próprios métodos de teste para garantir que sejam justos e precisos antes de publicar seus resultados.

Em resumo: O SPHERE é uma ferramenta para impedir que pesquisadores construam sistemas de IA "chamativos" que parecem bons em um laboratório, mas falham na vida real. Ele fornece uma maneira estruturada de documentar exatamente como um sistema foi testado, tornando a ciência mais transparente, reproduzível e confiável.

Problema
A proliferação de Modelos de Linguagem de Grande Escala (LLMs) alterou fundamentalmente a interação humano-IA, permitindo sistemas conversacionais em diversos domínios. No entanto, estabelecer métodos de avaliação eficazes para esses sistemas de humano-IA permanece um desafio significativo. As práticas tradicionais de avaliação de Processamento de Linguagem Natural (PLN), que dependem fortemente de métricas automatizadas e benchmarks estáticos, são frequentemente inadequadas para avaliar tarefas generativas e o desempenho holístico de sistemas que incluem interfaces de usuário e lógica de interação. Além disso, embora haja um movimento em direção à avaliação centrada no ser humano, persistem preocupações relativas à validade, reprodutibilidade e transparência de como essas avaliações são conduzidas. Existe atualmente uma falta de um framework sistemático para documentar designs de avaliação, levando a lacunas na compreensão de como melhor avaliar sistemas humano-IA que abrangem vários papéis e domínios.

Metodologia
Para enfrentar esses desafios, os autores propõem o SPHERE, um cartão de avaliação projetado para estruturar o design e a documentação de avaliações de sistemas humano-IA. O framework foi desenvolvido por meio de uma abordagem de diagramação de afinidade baseada em especialistas, envolvendo nove autores com formações tanto em PLN quanto em Interação Humano-Computador (IHC). Os autores sintetizaram aspectos fundamentais da avaliação em cinco dimensões, organizadas em torno de perguntas "Quem, O quê, Quando e Como":

O que está sendo avaliado? (Sujeito): Distingue entre avaliar o Modelo (capacidades) versus o Sistema (artefato holístico) e define Objetivos de Design (Eficácia, Eficiência, Satisfação).
Como a avaliação é conduzida? (Processo): Categoriza o Escopo (Intrínseco vs. Extrínseco) e o Método (Quantitativo vs. Qualitativo).
Quem está participando? (Manipulador): Identifica avaliadores Automatizados (Benchmarks estáticos vs. Juízes de LLM generativos) e avaliadores Humanos (Especialistas de Domínio vs. Usuários Pretendidos).
Quando a avaliação é conduzida? (Transcorrido): Define a Escala de Tempo (Imediata, Curto prazo, Longo prazo).
Como a avaliação é validada? (Robustez): Avalia a Confiabilidade (consistência ao longo do tempo, equivalência, consistência interna) e a Validade (medição dos construtos pretendidos).

Os autores aplicaram o framework SPHERE a uma revisão de literatura de 39 sistemas humano-LLM publicados entre janeiro de 2022 e setembro de 2024, selecionados de importantes conferências de IHC (ex: CHI) e PLN (ex: ACL, EMNLP). Eles codificaram manualmente esses artigos para identificar tendências, lacunas e melhores práticas. Adicionalmente, dois estudos de caso foram conduzidos: um onde os autores originais usaram o SPHERE para refletir e melhorar seus designs de avaliação, e outro onde pesquisadores tentaram reproduzir avaliações de outros domínios utilizando os cartões SPHERE como documentação.

Principais Contribuições

Cartão de Avaliação SPHERE: Um template abrangente composto por cinco dimensões e 18 aspectos específicos para guiar pesquisadores no design e documentação de protocolos de avaliação para sistemas humano-IA.
Análise Empírica: Uma revisão sistemática de 39 sistemas humano-LLM recentes, visualizando a distribuição das práticas de avaliação entre as comunidades de IHC e PLN.
Três Recomendações: Com base na análise, os autores propõem três estratégias para aumentar o rigor da avaliação:
1. Avaliar para refletir o uso no mundo real: Priorizar avaliações extrínsecas em contextos do mundo real e recrutar avaliadores de grupos de stakeholders relevantes, em vez de depender apenas de amostragem por conveniência.
2. Cruzar resultados: Adotar triangulação metodológica (misturando métodos intrínsecos/extrínsecos e quantitativos/qualitativos) para mitigar vieses inerentes a abordagens de método único.
3. Avaliar rigorosamente a avaliação: Realizar meta-avaliações para garantir a confiabilidade e a validade das próprias metodologias de avaliação, incluindo documentação adequada para replicação.
Estudos de Caso: Demonstrações da utilidade do SPHERE tanto no design de novas avaliações (incentivando uma consideração mais profunda de validade e validade ecológica) quanto na reprodução de estudos existentes (melhorando a precisão e o detalhamento dos planos de reprodução).

Resultados
A análise dos 39 artigos revelou disparidades e lacunas significativas nas práticas de avaliação atuais:

Lacuna de Avaliação Extrínseca: Apenas 10 de 18 artigos de PLN incluíram avaliações extrínsecas, comparado a 20 de 21 artigos de IHC. A maioria das avaliações permaneceu em ambientes controlados de laboratório, carecendo de validade ecológica.
Seleção de Avaliadores: Muitos estudos confiaram em trabalhadores de plataformas de crowdsourcing ou estudantes que podem não representar a população de usuários alvo. Apenas três dos 13 artigos de PLN com avaliações de usuários recrutaram especialistas de domínio.
Rigor Metodológico: Menos da metade dos artigos utilizou uma combinação de métodos intrínsecos, extrínsecos, quantitativos e qualitativos. Muitos dependeram pesadamente de classificações de escala Likert auto-relatadas sem triangulação.
Deficiências de Meta-Avaliação: Houve uma falta de validação rigorosa dos próprios métodos de avaliação. Poucos estudos relataram confiabilidade interna (ex: $\alpha$ de Cronbach) ou empregaram verificações de validade diversas além de designs experimentais básicos. Os tamanhos de amostra foram frequentemente pequenos (apenas 5 de 39 artigos possuíam mais de 30 participantes), arriscando testes estatísticos com baixo poder.
Resultados dos Estudos de Caso: No estudo de caso de design, os autores relataram que o SPHERE os incentivou a considerar o deployment de longo prazo e testes estatísticos. No estudo de caso de reprodução, o acesso aos cartões SPHERE melhorou significativamente a completude e a precisão dos planos de reprodução, ajudando pesquisadores a compreender designs de avaliação que anteriormente eram opacos.

Significância
O artigo posiciona o SPHERE como uma ferramenta crítica para unir os pontos fortes das comunidades de IHC e PLN. Ao fornecer uma linguagem compartilhada e um template estruturado, o SPHERE visa promover a transparência, melhorar a reprodutibilidade das avaliações de sistemas humano-IA e mover o campo em direção a práticas de avaliação mais robustas, realistas e acionáveis. Os autores enfatizam que, embora o SPHERE seja atualmente instanciado para sistemas baseados em LLM, suas dimensões são agnósticas ao modelo e aplicáveis a sistemas humano-IA mais amplos. O trabalho serve como um ponto de partida para padronizar como as avaliações são desenhadas e relatadas, visando, em última análise, resolver a "crise de avaliação" na IA generativa, garantindo que os resultados das avaliações sejam válidos, confiáveis e reflexivos da utilidade no mundo real.