Resumo Técnico: Feedback-to-Rubrics

Configuração do Problema

Os modelos de linguagem de grande escala (LLMs) são cada vez mais implantados para suporte à escrita e revisão, mas sua eficácia é frequentemente limitada pela falta de critérios dependentes de contexto, como preferências tácitas de especialistas ou convenções específicas de organizações. Embora rubricas explícitas possam orientar as saídas dos LLMs, esses critérios são frequentemente não documentados e difíceis de elicitar diretamente de humanos. Abordagens existentes para aprender critérios a partir do comportamento humano geralmente dependem de sinais globais de julgamento (por exemplo, pontuações de satisfação ou preferências em pares) em vez do feedback local e específico de trechos encontrado em comentários inline.

Este artigo introduz o Feedback-to-Rubrics, uma nova configuração de problema que formaliza a aprendizagem de rubricas reutilizáveis em linguagem natural a partir de comentários inline acumulados em artefatos de texto (por exemplo, rascunhos escritos por humanos ou gerados por LLMs). O desafio central é inferir critérios explícitos que expliquem o que preocupações os especialistas levantam, quando eles as levantam e em qual nível de granularidade, baseando-se apenas em observações de critérios tácitos embutidos nos comentários.

Metodologia

O método proposto aprende rubricas por meio de um loop iterativo consistindo em aprendizagem baseada em previsão de comentários e refinamento por comentário.

1. Definição de Rubrica

Uma rubrica na rodada $t$ é definida como um conjunto de critérios em linguagem natural $R_t = \{c_k^{(t)}\}$. Cada critério inclui:

• Condições de aplicabilidade: Quando comentar em um contexto local.
• Texto do critério: A preocupação específica e sua granularidade.
• Limites: Restrições para evitar confusão com critérios próximos.
• Exemplos: Citações-alvo representativas e comentários de referência.

2. Loop de Refinamento Iterativo

O método opera em rodadas, começando com uma rubrica inicial $R_0$ inferida a partir de dados de treinamento:

• Previsão e Avaliação de Comentários: Um LLM de comentários ($G$) gera comentários para citações-alvo condicionados à rubrica atual $R_t$. Crucialmente, o modelo gera tanto o comentário quanto o subconjunto específico de critérios $C_{ij}^{(t)}$ usado para geri-lo. Um LLM de avaliação ($J$) compara então o comentário gerado com o comentário de referência, retornando uma pontuação de conteúdo e um raciocínio.
• Sinal de Refinamento por Comentário: Diferentemente de trabalhos anteriores que usam sinais agregados, este método constrói um sinal de refinamento $h_{ij}^{(t)}$ para cada instância, pareando o resultado da previsão com os critérios específicos utilizados. Este sinal inclui a citação-alvo, o comentário de referência, o comentário gerado, a pontuação, o raciocínio do avaliador e os critérios selecionados.
• Atualização da Rubrica: Um LLM de refinamento usa esses sinais por comentário para atualizar a rubrica para $R_{t+1}$. Ele distingue entre critérios excessivamente amplos, preocupações ausentes, limites pouco claros e critérios redundantes. O processo de refinamento permite que o sistema divida critérios amplos, adicione novos para preocupações ausentes ou funde os redundantes, preservando critérios que se alinham bem com o comportamento de referência.

Contribuições Principais

1. Formulação do Problema: A introdução do Feedback-to-Rubrics, uma configuração para aprender rubricas reutilizáveis em linguagem natural a partir de comentários inline acumulados, abordando a lacuna entre a aprendizagem de preferências globais e o feedback local em nível de trecho.
2. Inovação Metodológica: Um método baseado em previsão de comentários que infere rubricas iniciais e as refina usando sinais de incompatibilidade por comentário. Esta abordagem vincula falhas de previsão específicas aos critérios utilizados, permitindo atualizações granulares nas condições de aplicabilidade e limites da rubrica.
3. Avaliação Empírica: Uma avaliação abrangente em três aplicações downstream:
   • Previsão de Comentários: Testar se rubricas refinadas melhoram a precisão na geração de comentários para artefatos mantidos de fora.
   • Compreensão de Rubrica: Inspeção qualitativa das rubricas aprendidas e avaliação quantitativa de sua cobertura e precisão em relação a rubricas de referência.
   • Revisão Guiada por Rubrica: Avaliar se as rubricas aprendidas ajudam os LLMs a revisar iterativamente artefatos para satisfazer melhor os critérios dos especialistas.

Resultados Experimentais

O método foi avaliado em nove tarefas diversas, incluindo conjuntos de dados de revisão do mundo real (propostas de pesquisa, ensaios) e configurações de benchmark derivadas do HealthBench e ExpertLongBench (Bio, Química, Cibersegurança, Educação, Saúde, Material).

• Previsão de Comentários: O método completo, utilizando refinamento por comentário, alcançou uma pontuação média de conteúdo de 4,93, superando baselines incluindo métodos baseados em recuperação (Top-3 RAG: 3,97) e geração sem rubricas (2,90). O uso de sinais por comentário proporcionou uma melhoria consistente em relação às rubricas iniciais e a sinais de refinamento agregados.
• Compreensão de Rubrica: A avaliação quantitativa mostrou que as rubricas "Best-val" refinadas melhoraram o recall (cobertura dos critérios de referência) em uma média de +1,17 pontos entre os domínios em comparação com as rubricas iniciais, com uma pequena troca em precisão. A análise qualitativa confirmou que o refinamento expandiu a cobertura para incluir padrões mais granulares (por exemplo, organização estrutural, feedback positivo) ausentes nas hipóteses iniciais.
• Revisão de Artefatos: Em tarefas de revisão, artefatos revisados usando a rubrica Best-val satisfizeram significativamente mais critérios de referência (melhoria média de +4,30) em comparação com a condição sem rubrica (+3,41) e a condição de rubrica inicial (+4,03).

Significado e Alegações

O artigo afirma que o feedback inline pode ser destilado em critérios reutilizáveis e dependentes de contexto que servem como sinais de condicionamento eficazes para LLMs. O significado deste trabalho reside em demonstrar que:

1. Critérios tácitos podem ser externalizados: Preferências de especialistas, frequentemente não documentadas, podem ser inferidas a partir de comentários inline acumulados e organizadas em rubricas explícitas.
2. Sinais locais impulsionam a melhoria global: Ao usar sinais de incompatibilidade por comentário em vez de julgamentos globais, o método aprende rubricas fundamentadas em trechos locais de texto, generalizando ao longo dos artefatos.
3. Versatilidade: As rubricas aprendidas não se limitam à geração de comentários; elas apoiam efetivamente a compreensão de rubricas e orientam a revisão automática de artefatos para alinhar com padrões de especialistas.

Os autores observam limitações, incluindo a dependência de avaliação baseada em LLM para pontuação de comentários, a suposição de que as citações-alvo são pré-forneidas (em vez de localizadas conjuntamente) e o uso de dados de benchmark sintéticos para avaliação fundamentada em rubricas devido à escassez de conjuntos de dados públicos que contenham tanto comentários inline quanto rubricas de referência.