Evaluating LLM-Based Grant Proposal Review via Structured Perturbations

Este artigo avalia a capacidade de modelos de linguagem (LLMs) de revisar propostas de financiamento do EPSRC através de perturbações estruturadas, descobrindo que a abordagem de análise seção por seção supera outras arquiteturas, embora os sistemas atuais ainda apresentem variabilidade significativa e priorizem a verificação de conformidade em detrimento de uma avaliação holística.

O essencial

Imagine que o mundo da pesquisa científica é como uma grande competição de culinária. Milhares de chefs (pesquisadores) enviam receitas (propostas de financiamento) para um painel de juízes experientes. O problema é que, nos últimos anos, o número de receitas explodiu, mas o número de juízes permaneceu o mesmo. Os juízes estão exaustos, e o processo de decisão está demorando anos.

Para ajudar, alguns sugeriram usar "robôs inteligentes" (Inteligência Artificial) para ler essas receitas e dar notas. Mas será que esses robôs são bons juízes? É exatamente isso que este artigo investiga.

Os autores criaram um experimento divertido e engenhoso para testar esses robôs. Em vez de pedir para eles lerem tudo de novo, eles pegaram 6 receitas reais e estruturalmente estragaram algumas delas de maneiras específicas, como se fossem "armadilhas" para ver se o robô percebe.

Aqui está a explicação do que eles fizeram e descobriram, usando analogias simples:

1. As "Armadilhas" (Perturbações)

Os pesquisadores pegaram as propostas originais e introduziram erros intencionais em 6 áreas diferentes, como se estivessem "injetando veneno" na receita para ver se o robô detectaria o gosto estranho:

• Dinheiro: Aumentaram o orçamento sem justificativa (como pedir R$ 1 milhão para comprar uma colher de pau).
• Tempo: Diziam que um projeto de 5 anos seria feito em 1 mês (impossível).
• Equipe: Removiam a experiência do chef principal.
• Alinhamento: Mudavam o tema da receita para algo que o concurso não aceitava.
• Clareza: Escondiam o significado de siglas ou tornavam o texto confuso.
• Impacto: Mudavam quem se beneficiaria do prato final.

2. Os Três Tipos de "Robôs Juízes"

Eles testaram três formas diferentes de usar a Inteligência Artificial para avaliar essas receitas:

• O Leitor Rápido (Baseline): O robô lê a proposta inteira de uma vez só, como alguém que devora um livro inteiro em uma sentada.
• O Analista Detalhista (Section-Level): O robô lê a proposta pedaço por pedaço (primeiro a introdução, depois o orçamento, depois a equipe), como um chef que prova cada ingrediente separadamente antes de julgar o prato.
• O Conselho de Especialistas (Council of Personas): O robô simula uma reunião de 5 pessoas diferentes (um contador, um ético, um entusiasta de tecnologia, um cético e um especialista em impacto). Cada um dá sua opinião, e depois eles votam. É como ter um painel de juízes completo, mas feito de IA.

3. O Que Eles Descobriram?

A. O Analista Detalhista venceu:
O robô que lia pedaço por pedaço foi muito melhor. Ele percebeu mais erros e deu notas mais consistentes.

• Analogia: É como tentar achar uma agulha no palheiro. O "Leitor Rápido" olha para o palheiro todo e perde a agulha. O "Analista" separa o palheiro em pequenos montes e encontra a agulha com facilidade.

B. O Conselho foi caro e ineficiente:
O método do "Conselho de Especialistas" (que gastou muito mais tempo de processamento e dinheiro) não foi melhor do que o básico.

• Analogia: Foi como contratar 5 consultores caros para resolver um problema simples que um único assistente competente já resolveria. O esforço extra não valeu a pena.

C. O Robô é bom em ver o óbvio, mas cego para o confuso:

• O que eles viram: Se você mudava o orçamento ou o tema (coisas lógicas e numéricas), o robô percebia quase sempre.
• O que eles NÃO viram: Se você tornava o texto confuso, usava siglas sem explicar ou deixava a escrita ruim (problemas de "Clareza"), o robô não percebia nada.
• Analogia: O robô é como um detetive que é ótimo em ver se o suspeito está usando um terno vermelho errado (erro óbvio), mas é cego se o suspeito estiver usando um terno preto que se mistura com a escuridão (erro sutil de clareza). O robô tende a "adivinhar" o que está faltando em vez de apontar que está faltando.

D. O Viés do Robô:
Os robôs tendiam a focar em regras e conformidade (ex: "você não explicou essa sigla") em vez de julgar a essência e a grandiosidade da ideia (ex: "essa ideia pode mudar o mundo").

• Analogia: O robô é um fiscal de trânsito que multa você por não usar o cinto (regra), mas não consegue julgar se você é um piloto de corrida talentoso (essência).

Conclusão Final

O artigo diz que, por enquanto, a Inteligência Artificial não deve substituir os juízes humanos na avaliação de projetos de pesquisa. Ela é muito variável e perde os detalhes mais sutis e importantes.

No entanto, ela pode ser uma ótima assistente. Imagine um robô que revisa o orçamento e a clareza básica para aliviar o trabalho dos juízes humanos, permitindo que eles foquem no que realmente importa: julgar a criatividade e o potencial da pesquisa.

Resumo em uma frase: A IA é um bom "fiscal de regras", mas ainda precisa de um "juiz humano" para entender a alma e a qualidade real de uma ideia científica.

Resumo técnico

Título: Avaliação de Revisão de Propostas de Subsídios Baseada em LLM via Perturbações Estruturadas

1. O Problema

O ecossistema de pesquisa global enfrenta uma "armadilha malthusiana": o volume de solicitações de financiamento cresceu exponencialmente, enquanto a capacidade de revisão manual estagnou ou diminuiu, resultando em taxas de aprovação caindo drasticamente (de 36% para 19% no Reino Unido) e fadiga dos revisores.
Existe uma assimetria crítica nas políticas de IA Generativa (GenAI): os solicitantes são cada vez mais incentivados a usar LLMs para redação e estruturação, mas os revisores humanos têm o uso estritamente proibido. Isso cria um risco de desequilíbrio na qualidade da revisão ou no aumento dos prazos de financiamento.

Além disso, a revisão de subsídios (grant reviewing) difere fundamentalmente da revisão de artigos de conferência:

• Natureza Prospectiva: Avalia a viabilidade futura e o valor do investimento, não apenas o trabalho concluído.
• Alto Risco: Erros envolvem compromissos de capital significativo e carreiras.
• Escassez de Dados: Propostas são ativos confidenciais com propriedade intelectual sensível, dificultando a criação de conjuntos de dados públicos para treinar ou avaliar modelos.

O problema central é: Os LLMs atuais são capazes de realizar avaliações de alto risco em propostas de subsídios, identificando falhas substantivas e fornecendo feedback confiável comparável a especialistas humanos?

2. Metodologia

Para contornar a escassez de dados e as barreiras éticas, os autores desenvolveram um framework de avaliação baseado em perturbações utilizando 6 propostas reais do Engineering and Physical Sciences Research Council (EPSRC) do Reino Unido.

A. Taxonomia de Perturbação
Em vez de rotular milhares de propostas, os autores degradaram sistematicamente as 6 propostas originais em 42 condições de falha controladas ao longo de seis eixos de qualidade:

1. Financiamento: Inflação de orçamentos, remoção de justificativas de custo.
2. Cronograma: Prazos irrealistas, desalinhamento de marcos.
3. Competência: Remoção de pessoal chave, enfraquecimento de evidências de habilidades.
4. Alinhamento: Modificação de objetivos para não corresponder ao edital.
5. Clareza: Remoção de definições de acrônimos, introdução de vaguidão.
6. Impacto: Alteração de partes interessadas ou escopo de resultados.

B. Arquiteturas de Revisão Comparadas
O estudo comparou três abordagens de revisão:

1. Baseline (Passagem Única): O modelo recebe a proposta completa e as diretrizes em um único contexto (Zero-shot).
2. Revisão Nível de Seção: A proposta é dividida em grupos lógicos (Visão/Aproximação, Capacidade da Equipe, Recursos, Ética) para reduzir a carga cognitiva e o contexto excessivo.
3. Conselho de Personas (Ensemble): Um sistema de três etapas que emula um painel de especialistas. Cinco "personas" distintas (Analista de Custos, Avaliador de Ética, Evangelista Tecnológico, Cético Metodológico, Campeão de Impacto) revisam independentemente, seguido por uma meta-revisão cega e síntese final por um "Presidente".

C. Métricas de Avaliação

• Detecção de Perturbação: Um painel de três modelos "juízes" (Qwen3.5, Nemotron, GLM-4) avalia se a revisão gerada identificou corretamente a falha introduzida.
• Alinhamento com Especialistas: Comparação de afirmações atômicas geradas pelo LLM com revisões humanas reais, medindo consenso, contradição e valor aditivo.
• Confiabilidade: Medida pelo Coeficiente de Correlação Intraclasse (ICC) para verificar a consistência das pontuações.

3. Principais Contribuições

1. Framework de Avaliação Baseado em Perturbação: Uma metodologia nova para avaliar sistemas de revisão em domínios de alta sensibilidade e escassez de dados, transformando um pequeno conjunto de dados em um benchmark robusto.
2. Arquitetura "Conselho de Personas": Proposta e implementação de um sistema multi-perspectiva para emular a diversidade de um painel de revisão humano.
3. Análise Comparativa Empírica: O primeiro estudo sistemático a avaliar a capacidade de LLMs de identificar falhas substantivas em propostas de subsídios, contrastando feedback automatizado com julgamentos de revisores experientes do UKRI.

4. Resultados Chave

A. Desempenho de Detecção

• Taxa Geral Baixa: A taxa geral de detecção de perturbações foi de apenas 21,2% (quatro em cinco erros passaram despercebidos).
• Melhor Arquitetura: A abordagem Nível de Seção superou significativamente a Baseline e o Conselho em taxas de detecção e confiabilidade de pontuação. O método do Conselho, apesar de mais caro computacionalmente, não superou a baseline.
• Sensibilidade Variável:
  • Alto Desempenho: Perturbações de Alinhamento foram facilmente detectadas (provavelmente devido a padrões aprendidos nos dados de treinamento sobre editais).
  • Baixo Desempenho Crítico: Perturbações de Clareza (ex: acrônimos não definidos, falta de explicação) foram quase totalmente ignoradas (6% de detecção). Os modelos tendem a inferir contexto em vez de sinalizar ambiguidades.

B. Confiabilidade e Consistência

• A abordagem Nível de Seção obteve o maior ICC (0.50), indicando que a variação nas pontuações refletia diferenças reais entre as propostas.
• A Baseline e o Conselho tiveram ICC muito baixo (~0.11-0.14), indicando que a mesma proposta poderia receber pontuações inconsistentes em execuções repetidas.

C. Alinhamento com Revisores Humanos

• Validade: O feedback gerado pelo LLM foi majoritariamente válido e não contraditório.
• Viés de Conformidade: Os LLMs tendem a focar em verificação de conformidade (ex: questões de ética, governança de dados, GDPR) em vez de avaliações holísticas de mérito científico.
• Divergência de Prioridades: Revisores humanos focam mais na viabilidade e no impacto estratégico, enquanto os LLMs levantam preocupações granulares que os humanos consideram abaixo do limiar de relevância para o painel.
• Valência: Os LLMs geraram mais críticas negativas do que os humanos, mas essas críticas estavam menos alinhadas com o julgamento humano sobre a gravidade do problema.

5. Significado e Conclusão

O estudo conclui que os LLMs atuais não estão prontos para substituir revisores humanos em processos de financiamento de alto risco devido à alta variabilidade, baixa confiabilidade na detecção de falhas de clareza e prioridades de revisão desalinhadas.

No entanto, eles oferecem valor suplementar significativo se utilizados como ferramentas de apoio sob supervisão humana, especificamente para:

• Verificação de conformidade e alinhamento com o edital.
• Detecção de inconsistências estruturais (ex: orçamento vs. cronograma).
• Fornecimento de feedback estruturado em nível de seção.

O trabalho destaca a necessidade de desenvolver modelos que não apenas preencham lacunas contextuais, mas que sejam capazes de questionar a clareza e a fundamentação lógica, habilidades essenciais para a avaliação prospectiva de projetos de pesquisa.