Results-Actionability Gap: Understanding How Practitioners Evaluate LLM Products in the Wild

1. O Problema

A integração de Modelos de Linguagem de Grande Escala (LLMs) em produtos digitais introduziu uma complexidade inédita na avaliação de sistemas. Embora existam diversos frameworks acadêmicos, benchmarks e métricas, os profissionais da indústria (practitioners) enfrentam dificuldades significativas para adaptar essas abordagens ao ambiente de produção real.

O problema central identificado é a inadequação das abordagens tradicionais de avaliação (baseadas em métricas fixas e testes determinísticos) para lidar com a natureza probabilística, não determinística e contextual dos LLMs. Os profissionais relatam que métricas convencionais (como BLEU, ROUGE ou classificações binárias) são frequentemente inúteis para capturar qualidades subjetivas (como humor, tom ou adequação contextual) e, mais criticamente, não fornecem sinais acionáveis para melhorar o sistema. Isso cria um cenário onde as equipes coletam dados de avaliação, mas não conseguem traduzi-los em melhorias concretas, resultando em um "gap" entre os resultados obtidos e a ação necessária.

2. Metodologia

O estudo adotou uma abordagem qualitativa baseada em análise temática reflexiva (segundo Braun e Clarke).

• Participantes: Foram realizadas entrevistas semiestruturadas com 19 profissionais de diversas áreas (saúde, jurídico, educação, software corporativo, etc.), incluindo cientistas de dados, engenheiros de software, designers e pesquisadores.
• Perfil: Os participantes trabalham majoritariamente com modelos fundacionais acessados via API (integração de produtos), e não com o treinamento de modelos do zero. Eles avaliam sistemas completos (interface, mecanismos de recuperação, prompts), não apenas capacidades isoladas do modelo.
• Procedimento: As entrevistas ocorreram entre fevereiro e maio de 2025, focando nas práticas atuais de avaliação, desafios enfrentados, evolução das estratégias e o contexto organizacional.
• Análise: Os dados foram codificados iterativamente para identificar padrões de práticas e desafios, gerando uma taxonomia de atividades de avaliação e barreiras.

3. Principais Contribuições

O artigo oferece três contribuições fundamentais para a área de HCI (Interação Humano-Computador) e prática de avaliação de LLMs:

1. Taxonomia de Práticas de Avaliação: Identificação de 10 práticas de avaliação que os profissionais utilizam, categorizadas em:
   • Execução: Desde "vibe checks" (verificações intuitivas informais) até feedback de usuários e avaliação por especialistas.
   • Design: Extração de critérios, seleção pragmática de métricas e tentativa de sistematização de kits de ferramentas ad-hoc.
   • Meta-trabalho Organizacional: Atividades de alinhamento, documentação e advocacia para garantir que a avaliação seja priorizada.
2. O "Gap de Resultados-Acionabilidade" (Results-Actionability Gap): A introdução de um novo conceito teórico que descreve a dificuldade crônica das equipes em traduzir dados de avaliação em melhorias de produto. Diferente do teste de software tradicional, onde um erro aponta para um componente específico, em sistemas LLM, uma falha pode ser causada por uma combinação complexa de prompts, parâmetros de temperatura, mecanismos de recuperação (RAG) ou o próprio modelo, tornando a correção difícil.
3. Reenquadramento das Práticas Interpretativas: A defesa de que práticas informais (como "vibe checks") não são falhas metodológicas, mas adaptações necessárias às características dos LLMs. O papel da pesquisa em HCI deve ser apoiar a sistematização dessas práticas emergentes, em vez de tentar substituí-las por novos frameworks teóricos.

4. Resultados e Descobertas Chave

As 10 Práticas de Avaliação (A1-A10)

Os profissionais não dependem apenas de métricas automatizadas. Eles utilizam um espectro que inclui:

• Vibe Checks (A1): Avaliações exploratórias e intuitivas iniciais, essenciais para entender o "feeling" do sistema antes de métricas formais.
• Feedback de Usuário e Especialistas (A2, A3): Coleta contínua de dados qualitativos e colaboração com especialistas de domínio (ex: advogados, médicos) que atuam como "benchmarks vivos".
• Testes Automatizados (A4): Tentativas de aplicar métricas tradicionais (F1, BLEU) ou "LLM-as-Judge", muitas vezes consideradas "quase inúteis" para contextos específicos.
• Trabalho Meta-Organizacional (A8-A10): Esforços significativos para alinhar stakeholders, documentar decisões e defender a necessidade de recursos para avaliação.

Os 5 Desafios Principais (C1-C5)

O estudo confirma quatro desafios conhecidos e identifica um novo:

1. Alinhamento de Objetivos (C1): Dificuldade em fazer com que stakeholders (técnicos, gestores, usuários) concordem sobre o que está sendo avaliado.
2. Estabelecimento de Construtos (C2): Dificuldade em definir o que é "bom" em contextos específicos e subjetivos.
3. Escolha de Abordagens (C3): Incerteza sobre quais métodos usar, levando a uma fase de "tentativa e erro".
4. Barreiras Técnicas (C4): Falta de infraestrutura, não-determinismo dos modelos e custos de avaliação humana.
5. O Gap de Resultados-Acionabilidade (C5 - Novo): O desafio mais crítico. As equipes coletam dados (ex: "o tom é ofensivo" ou "pontuação baixa"), mas não conseguem isolar a causa raiz (é o prompt? é a temperatura? é o modelo de recuperação?). Isso leva a situações onde os dados são ignorados ou o sistema é refeito inteiramente, em vez de ser iterado.

Fatores Estruturais

O artigo teoriza quatro fatores que explicam por que a avaliação baseada apenas em métricas falha:

• F1: Descompasso entre modelos de propósito geral e contextos específicos.
• F2: Não-determinismo combinado com a ausência de "ground truth" (verdade absoluta).
• F3: Falha das abordagens quantitativas tradicionais em fornecer sinais diagnósticos claros.
• F4: Barreiras de adoção de novos frameworks devido ao custo de aprendizado e dívida técnica.

5. Significado e Implicações

Para a Pesquisa em HCI

O estudo sugere uma mudança de paradigma: em vez de criar novos frameworks de avaliação que os profissionais podem abandonar, a comunidade de HCI deve focar em sistematizar as práticas interpretativas que os profissionais já estão desenvolvendo. As ferramentas e métodos de HCI (como design participativo, etnografia e métodos de "desconto") são adequados para lidar com a subjetividade e a complexidade sociotécnica dos LLMs. O foco deve ser ajudar as equipes a tornarem seu conhecimento tácito explícito e compartilhável.

Para a Prática Industrial

O artigo oferece três estratégias práticas para superar o "Gap de Resultados-Acionabilidade":

1. Avaliação por Design (Evaluation-by-design): Integrar a avaliação desde o início do processo de design, definindo critérios de sucesso e falha antes da implementação.
2. Sentido Contínuo (Continuous Sense-making): Documentar observações informais ("vibes") em hipóteses testáveis e logs compartilhados para evitar reinventar a roda.
3. Avaliação por Mudanças Incrementais: Testar uma variável de cada vez (ex: apenas o prompt) para isolar a causa de falhas, evitando a reescrita completa do sistema.

Em suma, o paper conclui que as dificuldades na avaliação de LLMs não são falhas dos profissionais, mas sim consequências estruturais da tecnologia atual. A solução reside em adaptar os processos organizacionais e metodológicos para acomodar a natureza probabilística e interpretativa desses sistemas.