📊 statistics

Rejoinder: The ICML 2023 Ranking Experiment: Examining Author Self-Assessment in ML/AI Peer Review

Esta réplica aborda o feedback sobre o Experimento de Classificação do ICML 2023 estruturando sua resposta em torno de quatro temas-chave: enquadrar a revisão por pares como estimação estatística, mitigar questões de equidade e estratégicas no Mecanismo Isotônico, integrar sinais complementares como classificações de revisores e propor um quadro centrado no ser humano para a era da inteligência artificial generativa.

Autores originais: Buxin Su, Jiayao Zhang, Natalie Collina, Yuling Yan, Didong Li, Kyunghyun Cho, Jianqing Fan, Aaron Roth, Weijie Su

Publicado 2026-05-26

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Buxin Su, Jiayao Zhang, Natalie Collina, Yuling Yan, Didong Li, Kyunghyun Cho, Jianqing Fan, Aaron Roth, Weijie Su

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine o mundo da pesquisa de ciência da computação de ponta (especificamente Inteligência Artificial) como um grande e caótico festival de música. Todos os anos, milhares de bandas (pesquisadores) querem tocar no palco principal (ter seus artigos publicados). Mas há apenas algumas centenas de juízes (revisores) para ouvi-los, e o festival está crescendo tão rápido que os juízes estão se afogando nas inscrições.

Os autores deste artigo, uma equipe de estatísticos e cientistas da computação, argumentam que precisamos parar de tratar este festival como uma simples competição de popularidade e começar a tratá-lo como um quebra-cabeça estatístico. Aqui está uma explicação de suas ideias usando analogias do cotidiano:

1. O Problema: Muitos Ingressos, Poucos Juízes

O festival está explodindo. Em 2026, receberam mais de 26.000 músicas para julgar. Os juízes estão cansados e não conseguem ouvir cada música perfeitamente. Às vezes, um juiz está tendo um dia ruim, às vezes eles simplesmente não "entendem" um gênero específico, e às vezes a música é simplesmente boa demais ou ruim demais para que eles julguem com justiça.

Os autores dizem: "Não podemos deixar apenas a multidão decidir (como contar 'curtidas' nas redes sociais) porque a multidão não é especialista o suficiente. Precisamos de uma maneira melhor de descobrir quais músicas são realmente as melhores."

2. A Solução: A "Playlist do Autor" (O Mecanismo Isotônico)

Os autores propõem um truque inteligente chamado Mecanismo Isotônico.

A Analogia: Imagine que você é um juiz em um concurso de culinária. Você precisa avaliar 100 pratos. Você pode ser um pouco rigoroso com comida picante ou um pouco muito indulgente com sobremesas. Suas pontuações são "ruidosas" (um pouco bagunçadas).
Agora, imagine que o chef (o autor) que fez o prato está parado bem ali. Ele conhece sua própria comida melhor do que ninguém. Ele sabe exatamente como seus 10 pratos se comparam entre si.

O Jeito Antigo: O chef apenas diz: "Meu prato é 9 em 10." (É fácil mentir sobre isso; todos querem um 10).
O Jeito Novo: O chef é solicitado a classificar seus próprios 10 pratos do melhor ao pior. "Prato A é melhor que Prato B, que é melhor que Prato C."

Por que isso funciona: É muito difícil mentir sobre uma classificação do seu próprio trabalho sem ser pego. Se você diz que seu "Prato C" é o melhor, mas seu "Prato A" é na verdade terrível, a matemática consegue detectar a mentira. Ao pedir aos autores que classifiquem suas próprias submissões, o sistema pode "limpar" as pontuações bagunçadas dos juízes. É como usar o próprio conhecimento do chef para corrigir a má audição do juiz.

3. Abordando a Preocupação com a "Injustiça"

Algumas pessoas se preocuparam: "E se um chef famoso com 50 pratos tiver uma enorme vantagem sobre um chef novo com apenas 2 pratos? O sistema de classificação funciona melhor para quem tem mais itens para classificar."

A Solução dos Autores: Eles perceberam que, se deixarem apenas uma pessoa classificar tudo, é injusto. Então, sugerem uma estratégia de "agrupamento".

A Analogia: Em vez de pedir ao chef famoso para classificar todos os 50 pratos em uma única fila gigante, peça a ele para agrupá-los em pequenos "menus de degustação" (por exemplo, "O Menu de Sopas", "O Menu de Sobremesas"). Classifique as sopas entre si e as sobremesas entre si.
O Resultado: Isso nivela o campo de jogo. A matemática mostra que, mesmo com esse agrupamento, o sistema ainda torna as pontuações muito mais precisas, mas impede que os chefs famosos dominem os resultados apenas porque têm mais inscrições.

4. O Problema da "Estratégia": Os Chefs Podem Trapacear?

Os autores admitem que, se a classificação realmente decidir quem toca no palco principal, os chefs podem tentar manipular o sistema.

O Risco: Um chef pode classificar um prato terrível como "excelente" apenas para fazê-lo ser aceito, ou classificar seu melhor prato mais baixo para "guardá-lo" para o próximo ano.
A Realidade: Os autores dizem: "Não podemos impedir toda a trapaça, mas podemos desenhar as regras para tornar a trapaça mais difícil." Eles sugerem começar pequeno (usando classificações apenas para sinalizar quais artigos precisam de uma segunda olhada, em vez de aceitá-los ou rejeitá-los imediatamente) para que possamos aprender como as pessoas se comportam antes de transformá-lo em um jogo de alto risco.

5. O Futuro: Humanos + IA, Não IA vs. Humanos

O artigo termina com uma visão de panorama geral. A Inteligência Artificial está mudando a forma como a pesquisa é escrita e revisada. A IA pode escrever código, verificar matemática e até mesmo rascunhar revisões.

A Posição dos Autores:

Não substitua os humanos. A IA é uma ferramenta, como uma calculadora superpoderosa. Ela pode organizar os dados e encontrar padrões, mas não deve ser o juiz final.
O "Humano no Loop": Pense na IA como o técnico de palco que configura as luzes e organiza os instrumentos. O juiz humano é quem decide se a música é realmente boa.
Por quê? Porque a ciência não é apenas sobre dados; é sobre criatividade, ética e "gosto". A IA pode perder a alma sutil de um artigo ou alucinar (inventar coisas). Os humanos precisam permanecer no comando da decisão final.

Resumo

O artigo argumenta que, para corrigir o sistema sobrecarregado de julgamento de pesquisas em IA, devemos tratá-lo como um problema matemático. Ao pedir aos autores que classifiquem honestamente seu próprio trabalho, podemos "remover o ruído" das pontuações dos juízes e encontrar os melhores artigos com mais precisão. No entanto, devemos ter cuidado para não permitir que o sistema seja manipulado, e devemos garantir que, enquanto a IA nos ajuda a organizar o caos, os humanos permaneçam como aqueles que seguram o martelo.

Resumo Técnico: O Experimento de Classificação do ICML 2023

Formulação do Problema
O artigo enquadra o processo de revisão por pares em conferências de Aprendizado de Máquina (ML) e Inteligência Artificial (IA) como um problema de estimação estatística. Com volumes de submissão crescendo exponencialmente (por exemplo, o ICML 2026 recebendo 26.600 submissões válidas) e a oferta de revisores qualificados não conseguindo acompanhar o ritmo, a comunidade enfrenta um desafio em estimar a qualidade latente ( $\theta_i$ ) de dezenas de milhares de submissões com base em sinais ruidosos. As pontuações tradicionais de revisão (por exemplo, escalas de 1 a 8) são vistas como estimadores ruidosos dessa qualidade latente, influenciados por viés do revisor, variância e comportamento estratégico. Os autores argumentam que, embora o "mercado" (por exemplo, estrelas no GitHub) não possa substituir a revisão por pares formal devido à necessidade de filtragem confiável de correção e novidade, o próprio processo de estimação deve ser aprimorado para lidar com a escala e a velocidade da pesquisa moderna em IA.

Metodologia: O Mecanismo Isotônico
A contribuição central é a aplicação do Mecanismo Isotônico, um método desenvolvido para elicitar informações privadas verdadeiras dos autores para reduzir o ruído nas pontuações de revisão.

Conceito: O mecanismo trata os autores como partes interessadas estratégicas que possuem conhecimento privado sobre a qualidade relativa de suas próprias submissões. Ao pedir aos autores que classifiquem suas próprias submissões, o sistema pode aproveitar essa informação comparativa interna.
Estrutura de Incentivos: O mecanismo é projetado de modo que, sob restrições específicas, os autores sejam incentivados a relatar suas classificações verdadeiras. Isso desloca o foco de monitorar exclusivamente os revisores para incorporar sinais do lado dos autores.
Integração: As pontuações calibradas derivadas dessas classificações são usadas para ajustar as pontuações brutas de revisão. No experimento do ICML 2023, essas pontuações ajustadas foram usadas principalmente para direcionar a atenção dos Presidentes de Área (AC) em vez de tomar decisões automáticas de aceite/rejeição, servindo como uma implantação de baixo risco para testar a eficácia.
Extensões: O artigo discute extensões potenciais, incluindo:
- Particionamento Baseado em Tópicos: Para abordar preocupações sobre heterogeneidade na melhoria (onde autores prolíficos podem se beneficiar desproporcionalmente), os autores propõem particionar as submissões de um autor em blocos menores baseados em tópicos. Isso permite que o mecanismo seja aplicado independentemente dentro dos blocos, suavizando a influência do comprimento da classificação.
- Sinais Complementares: O framework é projetado para integrar outros sinais, como classificações de revisores, comparações em pares, metadados estruturados (por exemplo, teórico versus empírico) e auto-previsões.

Principais Resultados e Descobertas
Com base no experimento do ICML 2023 e na análise subsequente:

Precisão de Estimação: O Mecanismo Isotônico melhora significativamente a precisão da estimação de qualidade. O artigo relata uma redução no Erro Quadrático Médio (MSE) e no Erro Absoluto Médio (MAE) em comparação com as pontuações brutas de revisão.
Mitigação de Heterogeneidade: Embora preocupações iniciais sugerissem que autores com muitas submissões obteriam benefícios de calibração desproporcionais, a análise mostra que o efeito de média entre coautores dilui essa influência. Além disso, a variante proposta de "particionamento baseado em tópicos" igualiza ainda mais a melhoria relativa entre autores com diferentes contagens de submissão. Por exemplo, sob a variante de particionamento, a inclinação da regressão da porcentagem de melhoria na contagem de submissões cai significativamente (por exemplo, inclinação do MSE de 1,97 para 1,24), indicando uma distribuição mais equitativa dos ganhos.
Poder Preditivo: Um estudo de acompanhamento (Su et al., 2025a) indica que as próprias classificações dos autores são preditores poderosos de futuras contagens de citações.
Comportamento Estratégico: O artigo reconhece que, em uma implantação de alto risco (onde as pontuações influenciam diretamente a aceitação), o comportamento estratégico (por exemplo, classificar artigos para maximizar as contagens de aceitação em vez da verdade) pode surgir. No entanto, os autores argumentam que implantações de baixo risco, aleatórias ou escalonadas são necessárias para estudar e mitigar esses comportamentos antes da implementação em escala total.

Significado e Alegações
O artigo posiciona-se não como uma solução final para a revisão por pares, mas como um passo em direção a uma reforma centrada no ser humano do sistema de publicação científica na era da IA.

Perspectiva Estatística: Afirma que visualizar a revisão por pares como um problema de estimação permite que estatísticos contribuam rigorosamente para o campo através do design de mecanismos e redução de ruído.
Humano no Comando: Os autores enfatizam que o Mecanismo Isotônico não substitui o julgamento humano ou os revisores. Em vez disso, integra um sinal humano adicional (classificações dos autores) com as pontuações de revisão existentes para melhorar a confiabilidade do processo de estimação.
Contexto de IA: O artigo argumenta que, à medida que as ferramentas de IA auxiliam cada vez mais na escrita e na revisão, os sinais tradicionais de qualidade (por exemplo, linguagem polida) podem tornar-se menos confiáveis. Nesse contexto, elicitar conhecimento humano contextual por meio de mecanismos alinhados a incentivos torna-se mais valioso.
Agenda Futura: Os autores convocam uma agenda de pesquisa mais ampla envolvendo o design de mecanismos que levem em conta estruturas de incentivo complexas, a integração de sinais diversos (classificações de revisores e autores) e o desenvolvimento de sistemas de publicação híbridos que equilibrem a disseminação rápida com auditoria pós-publicação. Eles destacam que a interseção entre design de mecanismos e modelagem estatística representa uma fronteira rica para a comunidade estatística.

O artigo conclui observando que, embora o experimento do ICML 2023 tenha sido um teste voluntário de baixo risco, um experimento aleatório com consequências significativas está em andamento no ICML 2026 para validar ainda mais essas descobertas.