Bye Bye Perspective API: Lessons for Measurement Infrastructure in NLP, CSS and LLM Evaluation

1. Declaração do Problema

O artigo aborda o fechamento iminente da PERSPECTIVE API (agendado para o final de 2026), que serviu como o padrão de facto para medição automatizada de toxicidade em Processamento de Linguagem Natural (PLN), Ciência Social Computacional (CSC) e avaliação de Modelos de Linguagem de Grande Escala (LLM).

Os autores argumentam que a dependência da comunidade de pesquisa dessa única ferramenta proprietária criou uma dependência estrutural que levou a falhas epistêmicas e metodológicas significativas:

• Natureza de Caixa-Preta: O modelo foi atualizado silenciosamente, sem versionamento, listas de alterações ou divulgação, tornando os resultados irreproduzíveis ao longo do tempo.
• Questões de Validade de Construto: A ferramenta operacionalizou "toxicidade" com base em uma suposição comportamental contestada (de que a toxicidade causa desengajamento), a qual evidências empíricas contradizem. Também falhou em distinguir claramente entre toxicidade, discurso de ódio e outros atributos.
• Avaliação Circular: A API foi usada não apenas como ferramenta de medição, mas como fonte de dados de treinamento e padrão de verdade fundamental para avaliar outros modelos. Isso criou um ciclo de reforço onde os modelos foram otimizados para corresponder aos vieses específicos da API, em vez do julgamento humano real sobre dano.
• Remoção de Contexto: A API processa frases isoladas, removendo o contexto conversacional, a intenção do falante e a identidade do alvo, levando a uma classificação sistemática incorreta de insultos reapropriados, contra-discurso e discurso político nuances.

2. Metodologia

Os autores empregam uma análise crítica de infraestrutura e um quadro de validação de medição adaptados de metodologias das ciências sociais (especificamente validação de construto). A metodologia envolve:

• Análise Histórica e de Uso: Rastrear a adoção da PERSPECTIVE API em pesquisas de PLN, CSC e avaliação de LLM para identificar como ela se tornou um padrão (dependência de trajetória e efeitos de rede).
• Crítica ao Pipeline de Validação: Comparar o desenvolvimento da API contra procedimentos padrão de validação de medição:
  1. Sistematização: Analisar a definição conceitual de toxicidade (o "construto") e suas suposições comportamentais.
  2. Operacionalização: Examinar como o conceito foi traduzido em um instrumento técnico (representação de entrada, arquitetura do modelo e pontuação de saída).
  3. Provisão: Investigar a transparência das atualizações do modelo, dados de treinamento e processos de anotação.
• Revisão de Evidências Empíricas: Sintetizar achados de estudos anteriores (por exemplo, Gervais et al., 2025; Pozzobon et al., 2023) que demonstraram o baixo desempenho da API em contextos específicos (por exemplo, baixas pontuações F1 em incivilidade política, inversão de benchmarks de LLM após retreinamento do modelo).
• Análise Estrutural: Identificar a "circularidade estrutural" onde a ferramenta define o padrão que deveria medir, lavrando vieses sociais em neutralidade técnica.

3. Contribuições Principais

O artigo faz três contribuições primárias para o campo:

1. Diagnóstico de Falha de Medição: Documenta formalmente que o campo construiu pesquisas sobre toxicidade com base em uma ferramenta que nunca foi validada para seu papel central. Destaca que as "pontuações" da API eram probabilidades não calibradas em relação a uma linha de base artificial, não medidas interpretáveis da prevalência de dano no mundo real.
2. Identificação de Circularidades Estruturais: Os autores demonstram como o papel duplo da API como geradora de dados e padrão de avaliação criou um ciclo de feedback. Isso resultou em modelos que eram "bons" em imitar os vieses específicos da API (por exemplo, moderação excessiva de conteúdo carregado de identidade) em vez de serem detectores robustos de dano.
3. Um Quadro para Infraestrutura Futura: O artigo propõe 10 requisitos específicos (5 Técnicos, 5 de Governança) para uma infraestrutura de medição sucessora, a fim de prevenir a recorrência dessas falhas.

4. Resultados e Achados Principais

• Invalidade do Construto: A definição de toxicidade da API (comentários grosseiros causando desengajamento) é empiricamente falsa; conteúdo tóxico frequentemente aumenta o engajamento. Consequentemente, a ferramenta mede "desacordo" ou "ofensividade" em vez do construto pretendido de "toxicidade prejudicial".
• Crise de Reprodutibilidade: Devido ao retreinamento silencioso do modelo, 49% dos prompts anteriormente classificados como tóxicos foram reclassificados de forma diferente ao serem reavaliados. Isso torna benchmarks históricos (como RealToxicityPrompts e HELM) irreproduzíveis e incomparáveis ao longo do tempo.
• Viés Sistemático: A API exibe moderação excessiva consistente de conteúdo relacionado a grupos marginalizados (por exemplo, LGBTQIA+, insultos reapropriados) e subdetecção de discurso de ódio implícito, impulsionado por sua dependência de características superficiais e falta de contexto.
• O Problema do "Alvo Móvel": Sem versionamento, os pesquisadores não podiam determinar se estavam consultando o mesmo instrumento, tornando estudos longitudinais e meta-análises cientificamente inválidos.
• Risco de Substituição: Os autores alertam que substituir a PERSPECTIVE por endpoints de LLM de código fechado (por exemplo, Moderação da OpenAI) replicaria essas falhas, pois essas ferramentas carecem de transparência, versionamento e governança comunitária.

5. Significado e Recomendações

O artigo argumenta que o fechamento da PERSPECTIVE API não é meramente uma questão de ferramentas, mas uma crise de medição que exige uma mudança fundamental na forma como a comunidade aborda a infraestrutura de avaliação.

Requisitos Propostos para Infraestrutura Sucessora:

Ações Imediatas Recomendadas:

• Arquivamento: Os pesquisadores devem arquivar imediatamente as pontuações da PERSPECTIVE para todos os principais benchmarks com documentação completa de métodos (datas de consulta, limiares, versões).
• Mudança para Modelos de Pesos Abertos: Novos projetos devem preferir modelos de pesos abertos com versionamento explícito em vez de endpoints fechados.
• Reflexividade Epistêmica: A comunidade deve tratar a construção de infraestrutura de medição como uma contribuição central de pesquisa que exige o mesmo rigor que o desenvolvimento de modelos, afastando-se de tratá-la como "trabalho de serviço".

Conclusão:
O artigo conclui que as comunidades de PLN e CSC têm a capacidade técnica de construir infraestrutura de medição válida, confiável e justa. A barreira não é técnica, mas sociológica: uma decisão coletiva de priorizar a construção de infraestrutura como trabalho cientificamente valioso, em vez de terceirizá-la para fornecedores proprietários e opacos.