Position: Want Better ML Reviews? Stop Asking Nicely and Start Incentivizing with a Credit System

No vasto e em rápida expansão mundo do aprendizado de máquina, um campo dedicado a ensinar computadores a aprender com dados, um gargalo crítico surgiu não na tecnologia em si, mas no processo humano utilizado para validá-la. Antes que uma nova descoberta possa ser compartilhada com o mundo, ela deve passar pela revisão por pares, um sistema onde especialistas leem e avaliam o trabalho de seus colegas para decidir se ele é digno de publicação. Durante décadas, esse processo dependeu de um simples contrato social: se você deseja que seu trabalho seja publicado, deve concordar em revisar o trabalho de outros. No entanto, à medida que o número de artigos de pesquisa explodiu para dezenas de milhares em um único grande encontro, esse acordo cortês começou a se desgastar. O volume absoluto de submissões sobrecarregou os especialistas disponíveis, levando a avaliações apressadas, padrões inconsistentes e um crescente sentimento de frustração entre cientistas que sentem que o sistema não está mais funcionando como pretendido. A questão central que a comunidade enfrenta não é mais apenas como gerenciar a carga de trabalho, mas como criar um sistema que realmente incentive um feedback de alta qualidade e ponderado, em vez de apenas marcar uma caixa.

Um artigo de posição recente de Shaochen (Henry) Zhong, da Universidade Rice, argumenta que a abordagem atual de pedir aos pesquisadores que sejam mais cuidadosos ou que sigam melhores diretrizes é insuficiente. O autor sugere que a comunidade de aprendizado de máquina atingiu um ponto em que pedidos educados e diretrizes otimistas estão falhando em resolver a crise do volume de submissões e da qualidade da revisão. Em vez disso, o artigo propõe uma mudança radical em direção a um sistema que trata a revisão como uma forma de moeda. A ideia central é substituir o atual "sistema de honra" por uma economia de crédito tangível, onde os pesquisadores ganham pontos por suas contribuições para o processo de revisão e podem gastar esses pontos para obter privilégios específicos. Essa abordagem se afasta de depender da boa vontade e caminha para uma estrutura onde o bom comportamento é recompensado e o mau comportamento acarreta um custo mensurável.

O artigo identifica dois principais motores da atual disfunção. Primeiro, o número de artigos submetidos a grandes conferências cresceu tanto que é fisicamente impossível para os especialistas disponíveis dar a cada um deles a atenção que merecem. Com algumas conferências recebendo mais de vinte mil submissões, o sistema é forçado a tomar decisões rápidas, muitas vezes arbitrárias, para manter o processo em movimento. Segundo, há uma falta de consequências para o mau comportamento. Um revisor pode enviar uma crítica desdenhosa, de baixo esforço ou até mesmo sem sentido sem medo de repercussão, enquanto um revisor que vai além para fornecer um feedback detalhado e construtivo não recebe nenhum reconhecimento tangível. O autor observa que, embora algumas conferências tenham tentado limitar as submissões ao estabelecer um limite para o número de artigos que um autor pode submeter, essas medidas frequentemente falham porque não abordam a causa raiz: a falta de uma consequência negativa para submeter trabalhos não prontos ou a falta de uma recompensa por fazer o trabalho árduo de revisar bem.

Para abordar essas questões, o autor propõe um sistema chamado "Pontos de OpenReview". Neste modelo, os pesquisadores ganhariam pontos ao realizar tarefas específicas, como escrever uma revisão padrão, ajudar em uma revisão de emergência ou ser reconhecido como um revisor excepcional. Esses pontos funcionariam então como uma moeda flexível que poderia ser gasta em diferentes conferências importantes. Por exemplo, um pesquisador poderia gastar pontos para solicitar uma isenção de um dever de revisão, para pedir que um especialista adicional dê um parecer sobre um artigo controverso ou até mesmo para resgatar uma taxa de inscrição gratuita para uma conferência. O sistema é projetado para ser granular e aplicável, permitindo que os organizadores recompensem o bom comportamento e penalizem o mau comportamento de maneiras mais sutis do que a abordagem atual de "tudo ou nada".

O artigo argumenta explicitamente contra várias soluções existentes que a comunidade já tentou. Sugere que simplesmente pedir aos revisores que sejam mais gentis ou mais minuciosos é ineficaz porque depende de uma motivação que o sistema atual não suporta. Também critica a ideia de limites rígidos e estritos no número de artigos que um autor pode submeter, observando que tais regras frequentemente levam as equipes a simplesmente remover nomes dos artigos para se ajustarem ao limite, em vez de realmente reduzir o número de submissões. Além disso, o autor alerta que penalidades severas, como rejeitar um artigo porque um revisor foi de baixo esforço, são instrumentos muito brutos para lidar com a ampla gama de comportamentos de revisão ruins. Em vez disso, o sistema de crédito proposto oferece um meio-termo onde as penalidades podem ser proporcionais, como a dedução de pontos por uma revisão de baixa qualidade, o que serve como um dissuasor sem destruir a carreira de um pesquisador.

Um componente chave da proposta é a ideia de "salvaguardas procedimentais detalhadas". O autor delineia quatro mecanismos específicos para evitar que o sistema seja abusado. Primeiro, o sistema restringiria certas ações a papéis específicos, garantindo que apenas os autores principais de um artigo possam gastar pontos para solicitar ajuda extra, evitando que o fardo seja transferido para membros menos responsáveis da equipe. Segundo, haveria limites superiores para a frequência com que certas ações poderiam ser tomadas, impedindo que qualquer pessoa "cultive" pontos ao submeter um grande número de revisões de baixo esforço. Terceiro, o sistema usaria preços dinâmicos, significando que, quanto mais um pesquisador usar um privilégio específico, mais ele custará em pontos, garantindo que recursos escassos sejam reservados para as necessidades mais críticas. Finalmente, o sistema dependeria de votação por pares para julgar a qualidade das revisões, permitindo que a comunidade identifique e penalize coletivamente os maus atores enquanto recompensa aqueles que fornecem feedback excepcional.

O autor reconhece que este sistema não é isento de desafios e potenciais desvantagens. Há uma preocupção de que um sistema de crédito possa favorecer pesquisadores que já possuem mais tempo e recursos, permitindo que eles "comprem" sua saída das responsabilidades. No entanto, o artigo argumenta que, como os pontos são ganhos através do trabalho e não comprados com dinheiro, o sistema recompensa o esforço em vez da riqueza. Há também o risco de que o sistema possa ser manipulado ou que os pontos percam valor ao longo do tempo, de forma semelhante à inflação em uma economia real. Para combater isso, o autor sugere que os pontos devem expirar após um certo período e que o sistema deve ser implementado gradualmente, começando com benefícios existentes, como a inscrição gratuita em conferências, antes de introduzir recursos mais complexos.

O artigo conclui enfatizando que o objetivo não é criar um sistema perfeito, mas tornar o atual mais sustentável e responsável. O autor sugere que as primeiras conferências a adotar este sistema devem começar pequeno, usando recompensas existentes para testar as águas antes de expandir o escopo. Ao rastrear métricas-chave e compartilhar dados entre diferentes conferências, a comunidade pode aprender o que funciona e o que não funciona, construindo eventualmente uma estrutura compartilhada que beneficie a todos. A visão final é de um processo de revisão por pares onde o bom comportamento é reconhecido e recompensado, onde os pesquisadores têm um interesse na qualidade do sistema e onde a frustração da era atual é substituída por uma troca de ideias mais funcional e justa. Esta proposta representa uma mudança de depender da esperança de que os pesquisadores farão a coisa certa para criar uma estrutura onde fazer a coisa certa seja a escolha mais lógica e benéfica.