What Makes a Good AI Review? Concern-Level Diagnostics for AI Peer Review

Título: O que Faz uma Boa Revisão de IA? Diagnósticos de Nível de Preocupação para Revisão por Pares de IA

1. Problema Identificado

A avaliação atual de revisões geradas por Inteligência Artificial (IA) baseia-se predominantemente na concordância de veredito (se a IA aceita ou rejeita o mesmo que os revisores humanos). O artigo argumenta que essa métrica é insuficiente e enganosa por várias razões:

• Ocultação de Falhas Estruturais: Um sistema pode atingir uma precisão de veredito moderada simplesmente rejeitando quase todos os artigos (viés de rejeição), mas isso permanece invisível na métrica global de precisão.
• Falta de Diagnóstico de "Porquê": A concordância de veredito não revela se a IA identificou as preocupações corretas, se atribuiu o peso decisional adequado a elas ou se suas prioridades alinham-se com a razão que realmente decidiu o destino do artigo.
• Ignorância da Estrutura de Preocupações: Revisões são consumidas como listas de preocupações priorizadas. Avaliar apenas o veredito descarta a unidade fundamental que os pesquisadores utilizam para melhorar seus trabalhos.
• Má Calibração: Sistemas podem detectar fraquezas reais, mas superestimar seu impacto (escalando preocupações menores para bloqueadores decisivos) ou falhar em distinguir entre artigos aceitos e rejeitados na distribuição de severidade.

2. Metodologia: O Framework de Alinhamento de Preocupações (Concern Alignment)

Os autores propõem um novo framework de diagnóstico chamado Concern Alignment, que avalia revisões no nível das preocupações individuais, em vez do veredito final.

Estrutura Central: O Gráfico de Correspondência (Match Graph)

O núcleo do framework é um grafo bipartido que alinha as preocupações oficiais (extraídas de revisões humanas, réplicas e meta-revisões) com as preocupações geradas por agentes (IA).

• Anotações: Cada aresta no grafo é anotada com:
  • Tipo de correspondência: Exata (resolver um resolve o outro), Parcial (mesma família de problema, escopo diferente) ou Relacionada (temática próxima, mas distinta).
  • Alinhamento de Severidade: Fatal, Major, Moderate, Minor (com regras de tolerância híbrida).
  • Tratamento Pós-Réplica: Como a Área de Controle (AC) tratou a preocupação (bloqueador decisivo, resolvido, limitação aceita, etc.).
• Âncora Operacional: O framework utiliza as decisões da AC pós-deliberação como uma âncora para calibrar a severidade e o peso decisional, assumindo que, embora ruidosas, essas decisões representam o melhor proxy disponível de como as preocupações foram ponderadas.

A Escada de Avaliação (Evaluation Ladder)

O framework organiza a avaliação em cinco níveis, agrupados em três estágios:

1. Nível 0 (L0): Precisão Binária. O veredito está correto? (Métrica básica, mas pouco diagnóstica).
2. Nível 1 (L1): Detecção de Preocupações. O sistema identifica as mesmas preocupações que os revisores oficiais? (Mede Recall e taxa de Phantoms - preocupações inventadas).
3. Nível 2 (L2): Métricas Estratificadas por Veredito. O comportamento do sistema muda entre artigos aceitos e rejeitados? (Revela perfis de "rejeição pesada" ou baixa recuperação).
4. Nível 3 (L3): Calibração Consciente de Decisão.
   • Taxa de Falso Decisivo (FDR): Em artigos aceitos, qual fração das preocupações da IA foi marcada como "decisiva"? (Idealmente 0, pois não há bloqueadores decisivos em artigos aceitos).
   • Precisão Decisiva: Em artigos rejeitados, qual fração das bandeiras decisivas da IA corresponde a bloqueadores reais?
   • Taxa de Escalonamento Resolvido: O sistema re-escalona preocupações que já foram resolvidas e visíveis no PDF?
5. Nível 4 (L4): Decomposição Consciente de Réplica. O sistema recupera preferencialmente as preocupações que permaneceram consequentes após a discussão (bloqueadores decisivos) em vez de preocupações resolvidas ou não bloqueadoras?

3. Contribuições Principais

• Framework de Diagnóstico Reutilizável: Uma metodologia padronizada para auditar quais preocupações as IAs identificam, como elas as ponderam e se essas prioridades alinham-se com a racionalidade da revisão oficial.
• Novas Métricas: Introdução de métricas como Taxa de Falso Decisivo (FDR), Taxa de Escalonamento Resolvido e Análise Top-K, que capturam falhas de calibração invisíveis à precisão binária.
• Validação Empírica: Demonstração do framework em quatro sistemas públicos de revisão de IA (System L, A, O, M) em 48 artigos de conferências de ML (ICLR, NeurIPS, ICML).
• Análise de Efeitos de Modelo vs. Método: Isolamento de como a escolha do modelo (ex: Opus vs. GPT-4o) altera o comportamento do revisor, mesmo com prompts fixos.

4. Resultados Chave do Estudo Piloto

A análise de nível de preocupação revelou falhas críticas que a precisão de veredito ocultava:

• Detecção não Garante Qualidade: Sistemas podem detectar uma fração não trivial de preocupações oficiais, mas falhar na calibração. A detecção sozinha não determina a qualidade da revisão.
• Falha de Calibração (O "Gargalo"):
  • A maioria dos sistemas marca 25–55% das preocupações em artigos aceitos como "decisivas" (bloqueadoras), quando, na realidade, nenhum bloqueador decisivo existia nesses artigos.
  • Isso indica uma incapacidade de modular o peso decisional com base na qualidade do artigo.
• Padrão "Volume sem Discriminação": Sistemas geram listas longas de preocupações que cobrem parcialmente as oficiais por volume, não por atenção seletiva.
  • Exemplo: Um sistema pode ter alta precisão de veredito ao rejeitar tudo, mas falhar em identificar quais problemas realmente importam.
• Inversão de Atenção (Atenção a Resolvidos): Alguns sistemas recuperam preocupações que foram marcadas como "resolvidas" pela AC com a mesma frequência (ou mais) do que os bloqueadores decisivos reais em artigos rejeitados.
• Sensibilidade ao Modelo: Mudar o modelo de linguagem (mantendo o prompt fixo) causa mudanças drásticas e não uniformes no comportamento do revisor.
  • Exemplo: O System L no modelo Opus rejeitou quase tudo (precisão de aceitação de 2,8%), enquanto a mesma configuração no GPT-4o aceitou a maioria (63,9%), com perfis de calibração completamente diferentes.
• Falsos Positivos (Phantoms): Taxas de "phantoms" (preocupações sem correspondência oficial) variam de 42% a 83% em artigos aceitos. Embora alguns sejam feedbacks legítimos adicionais, muitos são alucinações ou escalonamentos indevidos de problemas menores.

5. Significado e Implicações

• Mudança de Paradigma na Avaliação: O artigo defende que a avaliação de IAs para revisão por pares deve sair da métrica de "acerto de veredito" para métricas de alinhamento de preocupações.
• Utilidade Prática: Revisões são ferramentas para autores melhorarem seus trabalhos. Uma revisão que identifica o problema certo, mas com o peso errado (ex: tratar um erro de notação como fatal), é prejudicial. O framework permite diagnosticar e corrigir esses vieses.
• Generalização: O conceito de "Concern Alignment" é aplicável além da revisão acadêmica, sendo útil para sistemas de IA que geram críticas, relatórios de due diligence ou avaliações de risco, onde a priorização correta de falhas é crucial.
• Estabilidade: As métricas de nível de preocupação mostraram-se mais estáveis e informativas do que a extração de veredito, que é altamente sensível à metodologia de inferência de tom e estrutura do texto.

Em resumo, o trabalho demonstra que encontrar problemas não é suficiente; a capacidade de um sistema de IA de calibrar a severidade e priorizar corretamente as preocupações com base na racionalidade de decisão humana é o fator determinante para uma revisão de alta qualidade.