Evalet: Evaluating Large Language Models through Functional Fragmentation

Resumo Técnico: Evalet – Avaliação de Grandes Modelos de Linguagem através de Fragmentação Funcional

1. O Problema

A avaliação de saídas geradas por Grandes Modelos de Linguagem (LLMs) tem dependido crescentemente de abordagens "LLM como Juiz" (LLM-as-a-Judge). No entanto, os métodos atuais apresentam limitações críticas:

• Pontuações Holísticas Opacas: As avaliações resultam em scores numéricos gerais (ex: 3/5) e justificativas textuais longas que ocultam quais elementos específicos do texto influenciaram a nota.
• Dificuldade de Validação: Para entender uma pontuação, os praticantes precisam revisar manualmente todo o texto e mapear as justificativas para fragmentos específicos, um processo que não escala e é propenso a erros.
• Falta de Granularidade: Quando múltiplas saídas recebem a mesma pontuação, é difícil identificar se compartilham os mesmos problemas ou falhas sistêmicas diferentes.
• Dificuldade em Calibrar Confiança: A opacidade das pontuações impede que os usuários confiem ou validem as avaliações automatizadas, levando-os a ignorar os resultados e retornar à revisão manual completa.

2. Metodologia: Fragmentação Funcional

O artigo propõe uma nova abordagem chamada Fragmentação Funcional, que desmonta cada saída do LLM em fragmentos-chave e interpreta a função retórica de cada um em relação aos critérios de avaliação.

O Sistema Evalet:
O Evalet é um sistema interativo que implementa essa abordagem através de um pipeline técnico baseado em LLMs:

1. Extração e Interpretação de Fragmentos:

   • Dado um par entrada-saída e critérios definidos pelo usuário, um LLM (Claude 3.7 Sonnet) revisa a saída, extrai fragmentos relevantes e atribui a cada um uma função (ex: "personificação", "imagens de guerra", "vocabulário simples").
   • Cada função é classificada como positiva ou negativa em relação ao critério.
   • O sistema gera justificativas para cada fragmento.

2. Agrupamento Hierárquico (Clustering):

   • As descrições das funções são convertidas em vetores (embeddings) e projetadas em um espaço 2D usando UMAP.
   • Base Clusters: O algoritmo HDBSCAN agrupa funções semelhantes (independentemente da lexia, focando na semelhança funcional).
   • Super Clusters: O algoritmo KMeans agrupa clusters base em temas mais amplos, criando uma visão de alto nível do comportamento do modelo.

3. Interface Interativa:

   • Painel de Informação: Permite inspecionar saídas individuais, ver fragmentos coloridos (positivos/negativos) e justificações detalhadas.
   • Visualização de Mapa: Mostra a distribuição de todas as funções extraídas em um espaço 2D. Pontos próximos representam funções semanticamente similares.
   • Correção Iterativa: Os usuários podem adicionar exemplos (positivos, negativos ou excluídos) para refinar como o avaliador LLM classificará funções futuras, permitindo um ajuste fino dos critérios.

3. Principais Contribuições

• Mudança de Paradigma: Transição de avaliações quantitativas holísticas para uma análise qualitativa, granular e baseada em funções retóricas.
• Sistema Evalet: Uma ferramenta interativa que visualiza o "espaço de funções" de múltiplas saídas, permitindo a comparação de comportamentos do modelo além do conteúdo lexical.
• Validação em Escala: Capacidade de identificar padrões sistêmicos de falha (ex: uso excessivo de metáforas de guerra em textos infantis) que seriam invisíveis em scores agregados.
• Correção de Alinhamento: Mecanismo para que os usuários corrijam desalinhamentos do avaliador LLM adicionando exemplos específicos de funções, atuando como few-shot learning dinâmico.

4. Resultados

O estudo foi validado através de uma avaliação técnica e um estudo de usuário com 10 praticantes (N=10).

A. Avaliação Técnica:

• Extração de Fragmentos: A abordagem de fragmentação superou métodos de avaliação holística na extração de fragmentos relevantes, alcançando um Recall de 90,2% (vs. 84,3% do baseline), indicando maior capacidade de identificar todos os elementos críticos.
• Avaliação Geral: O método foi mais preciso na identificação da saída de maior qualidade em pares de respostas, demonstrando maior nuance na avaliação.

B. Estudo de Usuário (Evalet vs. Baseline Holístico):

• Identificação de Desalinhamentos: Os participantes identificaram 48% mais casos de desalinhamento entre a avaliação do LLM e seu próprio julgamento na condição fragmentada.
• Calibração de Confiança: Na condição fragmentada, os usuários desenvolveram uma "confiança informada". Eles conseguiram validar por que uma nota foi dada, permitindo que confiassem seletivamente nas avaliações para priorizar problemas. Na condição holística, muitos ignoraram as avaliações por não conseguirem verificá-las.
• Ação e Resolução: Os usuários relataram maior confiança na capacidade de resolver os problemas identificados na condição fragmentada, pois as questões eram concretas e específicas (ex: "remover metáfora de guerra") em vez de abstratas (ex: "melhorar tom").
• Carga Cognitiva: A carga de trabalho percebida foi semelhante em ambas as condições, mas a distribuição do esforço foi diferente: no modo fragmentado, o esforço foi gasto na exploração e comparação; no modo holístico, na revisão manual exaustiva de textos.

5. Significado e Impacto

O trabalho do Evalet representa um avanço significativo na área de Human-Computer Interaction (HCI) aplicada à IA:

• Sensemaking em Escala: Oferece uma solução para o problema de "fazer sentido" de grandes volumes de dados qualitativos gerados por IA, utilizando técnicas de sensemaking (forrageamento e organização de informação).
• Transparência e Controle: Transforma a "caixa preta" da avaliação de LLMs em um processo transparente e auditável, onde os praticantes podem entender e corrigir o comportamento do avaliador.
• Aplicabilidade em Tarefas Complexas: A abordagem é particularmente útil para tarefas onde benchmarks quantitativos não existem (ex: criatividade, segurança, inteligência social), permitindo a descoberta de padrões emergentes de comportamento do modelo.
• Futuro da Avaliação: Sugere que a avaliação de IA deve evoluir de métricas puramente quantitativas para métodos interativos e qualitativos que permitam aos humanos compreenderem a composição e o comportamento dos modelos de forma granular.

Em suma, o Evalet não substitui a avaliação humana, mas a amplifica, permitindo que os praticantes escalem a inspeção qualitativa e identifiquem problemas sistêmicos em modelos de IA que de outra forma permaneceriam ocultos sob pontuações agregadas.