💻 computer science

LLM-as-a-Judge for Human-AI Co-Creation: A Reliability-Aware Evaluation Framework for Coding

Este artigo apresenta um framework de LLM como Juiz, orientado por rubricas e consciente da confiabilidade, para avaliar a co-criação humano-IA em programação, que combina uma avaliação rigorosa por múltiplas métricas com análise ao nível da trajetória para revelar que o sucesso da co-criação tipicamente se concentra no início, enquanto os comportamentos de revisão permanecem heterogêneos.

Autores originais: Md Faizul Ibne Amin, Yutaka Watanobe, Daniel M. Muepu, Haruto Suzuki, Kenta Nanaumi, Md Mostafizer Rahman

Publicado 2026-05-01

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Md Faizul Ibne Amin, Yutaka Watanobe, Daniel M. Muepu, Haruto Suzuki, Kenta Nanaumi, Md Mostafizer Rahman

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine uma competição de programação de alto risco onde os participantes têm permissão para usar assistentes de IA para ajudá-los a resolver problemas. Este artigo é como um boletim de notas para duas coisas acontecendo naquela sala: quão bem humanos e IA trabalharam juntos e quão bons foram os "árbitros" (juízes de IA) na avaliação do trabalho.

Aqui está a análise do que os pesquisadores fizeram, usando analogias simples:

1. A Configuração: O Concurso de Programação "Com IA Permitida"

Geralmente, em concursos de programação, usar IA é considerado trapaça. Mas aqui, os pesquisadores realizaram uma categoria especial onde 15 participantes tentaram resolver 13 problemas difíceis usando ferramentas de IA de sua escolha.

O Objetivo: Eles queriam ver não apenas se o código funcionava, mas como humanos e IA descobriram a solução juntos. Eles ficaram presos? Corrigiram pequenos erros ou jogaram tudo fora e começaram do zero?
O Problema: A avaliação tradicional olha apenas para a resposta final (Aprovado/Reprovado). É como um professor olhar apenas para o ensaio final e ignorar os rascunhos bagunçados, as frases riscadas e as anotações nas margens. Os pesquisadores queriam avaliar o processo, não apenas o produto.

2. A Solução: O Juiz de IA "Guiado por Rubrica"

Para avaliar esses processos bagunçados e multietapas, os pesquisadores não podiam simplesmente pedir a um humano que lesse milhares de registros. Então, eles construíram um sistema usando Juízes de IA (como OpenAI, DeepSeek, Gemini e Claude) para atuar como árbitros.

Pense nisso como um painel de árbitros esportivos:

As Regras: Em vez de deixar os juízes de IA escreverem opiniões livres (o que pode ser bagunçado e inconsistente), os pesquisadores os obrigaram a preencher um boletim de notas estrito (um "esquema"). Eles tiveram que dar pontuações específicas para coisas como "A lógica é sólida?" e "Lidou com casos extremos?".
A Rede de Segurança: Como a IA às vezes comete erros ou dá respostas estranhas, o sistema tinha um "mecanismo de reparo". Se um juiz de IA esquecesse de preencher uma caixa no boletim de notas, o sistema a capturaria e pediria à IA para tentar novamente até que o boletim estivesse perfeito.
O Contexto: Os juízes tinham permissão para ver todo o histórico de prompts do participante (o que eles pediram à IA) antes de avaliar um trecho específico de código. Isso é como um árbitro assistir a toda a replay do jogo antes de marcar uma falta, em vez de olhar apenas para um único quadro de um segundo.

3. As Descobertas: Como Humanos e IA Trabalharam Juntos

Os pesquisadores analisaram as "trajetórias" (a jornada passo a passo) dos participantes.

O Efeito "Cedo ou Nunca": Eles descobriram que o sucesso acontece muito cedo. Imagine uma corrida onde 85% dos corredores cruzam a linha de chegada nos primeiros passos. Uma vez que um participante e sua IA descobriram o caminho certo, geralmente resolviam rapidamente. Se ainda estavam lutando após as primeiras tentativas, raramente tinham sucesso mais tarde.
Duas Maneiras de Consertar um Carro: Quando o código estava errado, os participantes o corrigiam de duas maneiras muito diferentes:
1. O Mecânico: Ajustando pequenas partes (refinamento incremental).
2. O Arquiteto: Arrancando todo o projeto e reconstruindo-o (reestruturação ampla).
- A Surpresa: Ambos os métodos funcionaram igualmente bem. Não havia uma "melhor" maneira de corrigir código; às vezes um pequeno ajuste funcionava, e às vezes uma reconstrução total era necessária.

4. As Descobertas: Quão Bons Foram os Juízes de IA?

Os pesquisadores testaram quatro modelos de IA diferentes para ver qual era o melhor árbitro.

Forças Diferentes: Assim como árbitros humanos, os juízes de IA tinham personalidades diferentes.
- DeepSeek foi o melhor em classificar as tentativas boas acima das ruins (como identificar as melhores jogadas).
- OpenAI foi bom em ser preciso com suas pontuações de probabilidade.
- Gemini e Claude tinham suas próprias peculiaridades.
O Problema do "Acordo": Os juízes nem sempre concordavam entre si. Se você pedisse a dois juízes de IA diferentes que avaliassem o mesmo código, eles poderiam dar pontuações diferentes. Os pesquisadores descobriram que, embora concordassem algum tempo, muitas vezes discordavam.
A Lição: Você não pode confiar em apenas um juiz de IA. Você precisa de um "painel" deles e deve olhar para uma série de métricas diferentes (como quão bem eles classificam, quão bem calibram sua confiança e com que frequência concordam) para obter uma imagem verdadeira da qualidade.

5. A Grande Conclusão

Este artigo introduz um novo manual de instruções para avaliar como humanos e IA trabalham juntos.

Para o Processo: Mostra que, na programação assistida por IA, o sucesso geralmente acontece cedo, e não há uma única maneira "correta" de corrigir um erro.
Para a Avaliação: Prova que a IA pode ser um árbitro confiável se você a obrigar a seguir regras estritas, verificar seu trabalho e usar múltiplos juízes para cruzar as pontuações.

Em resumo: O artigo criou uma maneira melhor de avaliar a dança bagunçada e colaborativa entre humanos e IA, mostrando-nos que o sucesso frequentemente acontece rapidamente e que precisamos de uma equipe de árbitros de IA para acertar a pontuação.

1. Declaração do Problema

O artigo aborda uma lacuna crítica na avaliação da Co-Criação Humano-IA em programação e engenharia de software (ES). Embora os Modelos de Linguagem de Grande Escala (LLMs) sejam cada vez mais utilizados tanto como parceiros de co-criação quanto como avaliadores ("LLM-as-a-Judge"), os protocolos de avaliação existentes são frequentemente insuficientes para este contexto específico:

Limitações das Métricas Legadas: A avaliação tradicional de programação baseia-se em resultados finais (por exemplo, casos de teste aprovados/reprovados), o que falha em capturar o valor de artefatos intermediários, soluções parciais, hipóteses de depuração e o processo de raciocínio iterativo inerente à co-criação.
Confiabilidade e Viés: Juízes baseados em LLMs são propensos a vieses (por exemplo, favorecer respostas mais longas, viés de posição) e inconsistências. Há uma falta de frameworks padronizados e auditáveis que garantam que as saídas dos juízes sejam confiáveis, comparáveis entre diferentes modelos e interpretáveis ao longo de interações de múltiplas rodadas.
Riscos de Vazamento de Dados: Em configurações de co-criação, múltiplas tentativas pelo mesmo usuário no mesmo problema criam "trajetórias". A divisão aleatória padrão pode levar a vazamento de dados, onde o juiz vê informações de uma rodada posterior durante a avaliação de uma rodada anterior.

2. Metodologia

Os autores propõem um framework unificado e orientado por rubricas de LLM-as-a-Judge, projetado especificamente para co-criação humano-IA no estilo de competições. A metodologia consiste em três etapas principais:

A. Processamento de Dados e Construção do Conjunto de Dados

Fonte: Os dados foram coletados da pista de co-criação permitida para IA das Finais do PC Koshien (PCK), onde os participantes resolveram os mesmos problemas do concurso oficial, mas tiveram permissão para usar ferramentas de IA.
Agrupamento de Trajetórias: Os dados são organizados em trajetórias definidas por pares (participante, problema) para prevenir vazamento.
Contexto NÃO CEGO: Para simular uma avaliação realista, os juízes recebem um contexto agregado ao nível do participante ( $Q_u$ ), que concatena todos os registros de prompts daquele participante. Isso garante que o juiz tenha o histórico completo da interação do usuário ao avaliar qualquer tentativa específica.
Restrições de Esquema: Os juízes são forçados a produzir JSON estruturado em vez de texto livre, contendo:
- $p_a$ : Probabilidade prevista de aceitação.
- $s_{algo}$ : Pontuação ordinal (1-5) para adequação algorítmica.
- $s_{robust}$ : Pontuação ordinal (1-5) para robustez/satisfação de restrições.
- $r$ : Breve justificativa.

B. Pipeline de Inferência LLM-as-a-Judge

Avaliação Multi-Modelo: Quatro juízes LLM distintos foram avaliados: OpenAI (gpt-5.2), DeepSeek (reasoner), Gemini (2.5-pro) e Claude (sonnet-4).
Verificação e Reparo: O pipeline inclui uma etapa robusta de verificação. Se uma chamada de API falhar ou retornar JSON malformado, o sistema tenta novamente com backoff. Apenas saídas que satisfazem restrições estritas de esquema (por exemplo, probabilidade em [0,1], pontuações ordinais válidas) são aceitas.
Estratégia de Divisão: Uma divisão agrupada (Treino/Validação/Teste) é aplicada ao nível (participante, problema).
- Validação: Usada para selecionar o limiar de decisão ótimo ( $t^*$ ) maximizando o Coeficiente de Correlação de Matthews (MCC).
- Teste: Usado exclusivamente para relatórios finais para garantir nenhum vazamento de dados.

C. Métricas de Avaliação

O framework emprega um protocolo multi-métrico para avaliar tanto os juízes quanto as dinâmicas de co-criação:

Métricas de Qualidade do Juiz:
- Discriminação: ROC-AUC e PR-AUC (capacidade de classificação).
- Confiabilidade Probabilística: LogLoss, Pontuação Brier e Erro de Calibração Esperado (ECE).
- Qualidade de Decisão: MCC usando o limiar selecionado no conjunto de validação.
- Concordância Inter-Juízes: $\kappa$ de Cohen (par a par) e $\kappa$ de Fleiss (multi-avaliador).
Métricas de Dinâmicas de Co-Criação:
- Sucesso@Rodada: Fração cumulativa de trajetórias resolvidas até a rodada $k$ .
- Tempo-até-Sucesso: Analisado via análise de sobrevivência Kaplan-Meier (tratando censura à direita para trajetórias não resolvidas).
- Comportamento de Revisão: Medido usando Distância de Edição Normalizada (NED) para mudanças de nível superficial e CodeBLEU para similaridade/convergência consciente de código.

3. Principais Contribuições

Framework Consciente de Confiabilidade: Introduz um pipeline rigoroso para julgamento por LLM que inclui saídas com restrições de esquema, mecanismos de reparo automatizado e divisão agrupada para prevenir vazamento de trajetórias.
Suite de Avaliação Multi-Métrica: Vai além do relatório de métrica única analisando conjuntamente discriminação, calibração, qualidade de decisão e concordância inter-juízes.
Análise ao Nível de Trajetória: Fornece um método novo para analisar padrões de interação humano-IA (curvas de luta, análise de sobrevivência) em vez de apenas resultados finais.
Ponte Empírica: Conecta os campos de confiabilidade de "LLM-as-a-Judge" e dinâmicas de "Co-Criação Humano-IA" dentro de um único cenário empírico reproduzível.

4. Principais Resultados

A. Desempenho do Juiz

Discriminação: DeepSeek e Claude alcançaram o maior ROC-AUC (0,5937), com o DeepSeek liderando em PR-AUC (0,6904). O Gemini teve o desempenho mais fraco (ROC-AUC 0,4250).
Calibração: O DeepSeek mostrou a melhor calibração (menor ECE: 0,2819), enquanto o Gemini e o Claude exibiram erros mais altos.
Qualidade de Decisão: O DeepSeek alcançou o MCC com limiar mais alto no conjunto de teste (0,5000) com um limiar conservador (0,81).
Concordância Inter-Juízes: A consistência foi modesta no geral.
- Média de $\kappa$ de Cohen par a par: 0,1592.
- $\kappa$ de Fleiss: 0,0696.
- Implicação: Os juízes não são intercambiáveis; eles exibem vieses e pontos fortes distintos, reforçando a necessidade de relatórios multi-métricos em vez de confiar em um único modelo.

B. Dinâmicas de Co-Criação Humano-IA

Sucesso Antecipado: O sucesso está fortemente concentrado nas rodadas iniciais.
- Sucesso@Rodada atingiu 0,8533 na primeira rodada observada.
- Até a rodada 6, aumentou apenas para 0,8641.
- A análise Kaplan-Meier confirma que trajetórias que se estendem além das primeiras rodadas mostram retornos decrescentes.
Padrões de Revisão Heterogêneos: Não há um único estilo de revisão "correto".
- Tanto o refinamento incremental (pequenas mudanças) quanto a reestruturação ampla (grandes mudanças) levaram a resultados bem-sucedidos.
- A similaridade consciente de código (CodeBLEU) mostrou que trajetórias bem-sucedidas tendem a convergir estruturalmente em direção à solução aceita, independentemente da magnitude das mudanças intermediárias.
Dissimilaridade Prompt-Código: Valores altos de NED entre prompts e código confirmaram que o contexto do juiz (linguagem natural) e a solução (código) são lexicalmente distintos, validando a natureza não trivial da tarefa de avaliação.

5. Significado e Implicações

Além da Correção Final: O estudo demonstra que avaliar programação assistida por IA exige olhar para o processo (trajetória), não apenas para o produto. Padrões de sucesso precoce sugerem que a co-criação eficaz depende de iteração e verificação rápidas, em vez de tentativa e erro prolongada.
Juízes como Instrumentos, Não Oráculos: Os resultados destacam que os juízes LLM são instrumentos de medição com "pontos cegos" e pontos fortes específicos. Nenhuma métrica única (por exemplo, precisão) captura sua utilidade total; uma visão multidimensional é essencial para pesquisa auditável.
A Expertise Humana Permanece Central: As descobertas sugerem que a IA não substitui o julgamento humano, mas o reorienta. A capacidade de avaliar saídas intermediárias, reconhecer estagnação e orientar revisões permanece a habilidade humana crítica na co-criação.
Reprodutibilidade: O framework proposto oferece um modelo para estudos futuros avaliarem programação assistida por IA com transparência, garantindo que os protocolos de avaliação sejam robustos contra vazamento de dados e vieses específicos do modelo.

Em conclusão, este artigo fornece uma metodologia fundamental para avaliar rigorosamente como humanos e IA colaboram para resolver problemas complexos de programação, estabelecendo simultaneamente um padrão consciente de confiabilidade para o uso de LLMs como juízes em ambientes dinâmicos.