Resumo Técnico: Projeto KALEIDOSCOPE

Definição do Problema

A avaliação de aplicações de Grandes Modelos de Linguagem (LLMs) para implantação no mundo real enfrenta um gargalo crítico: os benchmarks públicos raramente se alinham aos usuários, contextos, políticas ou tolerâncias de risco específicos de uma organização. Embora existam benchmarks de capacidade geral, eles falham em capturar as nuances do que é um desempenho "bom" em contextos funcionais (por exemplo, um bot de RH que exige respostas fundamentadas em políticas versus um bot de matemática que exige soluções passo a passo). Os processos de avaliação organizacional atuais são frequentemente manuais, fragmentados e tediosos de escalar. As ferramentas existentes abordem partes do fluxo de trabalho (geração de testes, pontuação, registro), mas carecem de um sistema integrado que combine construção de testes contextualizada, rubricas configuráveis, calibração humana e pontuação automatizada com gatilho de confiabilidade em um fluxo de trabalho único e inspecionável.

Metodologia: O Fluxo de Trabalho KALEIDOSCOPE

O KALEIDOSCOPE é um fluxo de trabalho de ponta a ponta projetado para avaliação funcional contextual. Ele opera sobre quatro considerações de design fundamentais: (1) casos de teste representativos, (2) rubricas configuráveis, (3) experiência otimizada de Humano no Ciclo (HITL - Human-in-the-Loop) e (4) pontuação automatizada transparente com gatilho de confiabilidade. O fluxo de trabalho procede através das seguintes etapas:

1. Definição da Aplicação Alvo: Os usuários especificam o propósito da aplicação, os usuários alvo e a base de conhecimento. O sistema opcionalmente recupera informações da web pública para fundamentar a configuração caso o contexto fornecido pelo usuário seja escasso.
2. Geração de Testes Baseada em Personas: Em vez de conjuntos de dados estáticos, o KALEIDOSCOPE gera casos de teste variando cinco dimensões: Persona (antecedentes/estilo do usuário), Tipo (casos típicos vs. casos de borda), Escopo (dentro da base de conhecimento vs. fora da base de conhecimento), Estilo de Entrada (breve vs. detalhado) e Idioma. Isso garante a cobertura de cenários de usuários realistas.
3. Revisão e Anotação Humana: O sistema coleta as respostas da aplicação e guia os revisores humanos para rotular um conjunto de calibração. Para reduzir o viés de automação, a interface utiliza um fluxo de trabalho assistido por LLM, onde o LLM sugere rótulos e destaca evidências, mas o revisor humano deve selecionar ativamente um rótulo entre as opções da rubrica, em vez de simplesmente aprovar ou rejeitar. Isso estabelece um conjunto de referência confiável.
4. Rubricas de Avaliação: Os usuários definem rubricas personalizadas usando linguagem natural ou selecionam predefinições. O sistema emprega um aumentador baseado em LLM para reescrever os critérios definidos pelo usuário em prompts estruturados de juiz. Crucialmente, o design favorece uma abordagem de "uma métrica por prompt de juiz" para evitar a degradação de desempenho observada quando um único prompt tenta pontuar múltiplas dimensões.
5. Pontuação Automatizada e LLM-como-Júri:
   • Para cada rubrica, três candidatos a juízes de LLM são instanciados.
   • Os juízes são avaliados contra o conjunto de calibração rotulado por humanos.
   • Gatilho de Confiabilidade: Apenas juízes que alcançam um Macro F1 score > 0,5 no conjunto de calibração são elegíveis para agregação.
   • Agregação: As pontuações dos juízes elegíveis são agregadas via voto majoritário. Se nenhum juiz passar pelo gatilho, o sistema retém a pontuação automatizada e sinaliza a rubrica para revisão humana.
   • Análise de Erros: Desacordos entre juízes são expostos para identificar exemplos ambíguos ou áreas que exigem inspeção humana mais próxima.

Principais Contribuições

1. Artefato de Fluxo de Trabalho: A apresentação do KALEIDOSCOPE como um fluxo de trabalho prático, inspecionável e iterativo para avaliação funcional contextual, cobrindo todo o ciclo de vida, desde a configuração do alvo até a análise de erros.
2. Design de Rubrica e Julgamento: Uma abordagem inovadora para critérios de avaliação configuráveis que utiliza pontuação ao nível de afirmação ou de resposta e emprega um mecanismo de "júri" com gatilho de confiabilidade. Este mecanismo agrega pontuações apenas quando os juízes de LLM demonstram alinhamento com os rótulos revisados por humanos, mitigando os riscos de pontuação automatizada não calibrada.
3. Evidência Empírica: Resultados iniciais de um piloto de três semanas em quatro casos de uso organizacionais (Finanças, RH, Compras, Assistente de Staff) e experimentos em 108 pares de perguntas e respostas anotados em 14 dimensões de avaliação.

Resultados e Descobertas

• Usabilidade do Piloto: Em um piloto envolvendo oito usuários de quatro equipes, 83% dos respondentes relataram que o KALEIDOSCOPE ajudou a avaliar aplicações de forma mais eficiente. Todos os respondentes consideraram a pontuação de confiabilidade do juiz ao interpretar os resultados, indicando que o sinal de calibração é saliente para a tomada de decisão.
• Experimentos de Rubrica:
  • Múltiplas Métricas vs. Métrica Única: Experimentos comparando juízes de múltiplas métricas (pontuando vários critérios em um único prompt) contra juízes de métrica única revelaram que restringir o escopo melhorou o alinhamento. Por exemplo, juízes de métrica única para "empatia" e "verbosidade" mostraram melhorias no Cohen's $\kappa$ de +15,2% e +11,6%, respectivamente, sobre a linha de base de múltiplas métricas.
  • Iteração de Prompt: Iterar nos prompts dentro de blocos de múltiplas métricas não melhorou consistentemente o desempenho e, às vezes, o degradou, sugerindo sobrecarga de escopo.
  • Aumento de Prompt: Usar um LLM para aumentar as rubricas definidas pelo usuário em prompts específicos de métrica yielded resultados mistos. Melhorou o desempenho para "estrutura", mas não para "especificidade", sugerindo que a eficácia do aumento depende do critério específico e da ambiguidade das fronteiras de anotação humana.
• Revisões de Design: O feedback dos usuários levou a revisões na alocação de casos de teste (mudando de uma distribuição uniforme para proporções de uso realistas), adição de fundamentação de busca web no backend para contextos esparsos e inclusão de pontos de importação/exportação para integrar com processos de avaliação existentes.

Significância e Alegações

O artigo posiciona o KALEIDOSCOPE não como um benchmark universal ou uma solução para a confiabilidade geral dos juízes de LLM, mas como um artefato de fluxo de trabalho prático para equipes de produto. Sua significância reside em:

• Alinhamento Contextual: Mudança do foco de benchmarking de capacidade geral para avaliação funcional específica da aplicação que respeita políticas locais e governança.
• Gatilho de Confiabilidade: Fornecer um mecanismo para colocar a pontuação automatizada atrás de um alinhamento verificado por humanos, garantindo que as pontuações automatizadas sejam usadas apenas quando atingem um limiar configurado de confiabilidade.
• Inspecção: Criar um processo transparente onde os desacordos dos juízes e as falhas de calibração são visíveis, permitindo que as equipes entendam por que uma pontuação foi gerada ou retida.

Os autores alegam modestamente que o piloto fornece "evidência inicial" e "evidência de usabilidade inicial" em vez de validação definitiva. Eles reconhecem que o fluxo de trabalho atual é mais forte para avaliação de entrada-saída e que trabalhos futuros são necessários para estender o escopo para sistemas agentes complexos, fluxos de trabalho de múltiplos turnos e traços de geração aumentada de recuperação (RAG). O objetivo final é transformar essas lições em uma plataforma de testes mais ampla que feche o ciclo do diagnóstico à melhoria direcionada.