Resumo Técnico: Pipeline de Avaliação de GenAI para Agentes Conversacionais de Varejo

1. Formulação do Problema

O artigo aborda a lacuna crítica na avaliação de agentes conversacionais (chatbots) de varejo em escala empresarial. Métricas tradicionais como BLEU, ROUGE e METEOR dependem de sobreposição lexical e falham em capturar dimensões pragmáticas essenciais no varejo, como alinhamento de intenção, veracidade, tom, utilidade e adequação cultural em cenários de tradução. Embora a avaliação humana seja confiável, ela é proibitiva em termos de custo e não escalável para ambientes de produção de alto volume que geram dezenas de milhares de interações diárias. Por outro lado, as abordagens existentes de "LLM-as-a-judge" (LLM como juiz) frequentemente carecem da governança, reprodutibilidade e confiabilidade operacional necessárias para a implantação em produção, especificamente no que diz respeito à consistência de esquema, auditabilidade e gerenciamento de custos.

O desafio central é operacionalizar um framework de avaliação multidimensional que seja:

• Escalável: Capaz de processar ~50.000 registros diariamente (mais de 2 milhões no total).
• Governado: Aplicando rigoroso controle de esquema, versionamento e rastreabilidade.
• Eficiente: Minimizando a computação redundante por meio de reavaliação seletiva.
• Multidimensional: Suportando tanto tarefas gerais de varejo (intenção, utilidade) quanto tarefas específicas de tradução (ajuste cultural, relevância de vendas).

2. Metodologia: O Pipeline de Avaliação de GenAI

Os autores propõem o GenAI Evaluation, um pipeline governado e orientado a configuração construído sobre o Kubeflow Pipelines. O sistema ingere logs de produção de chatbots do BigQuery e os processa através das seguintes etapas:

Pré-processamento e Fragmentação de Dados (Sharding)

• Normalização: Logs brutos são padronizados (ex: convertendo context_name para context_id, convertendo timestamps e booleanos).
• Filtragem: Registros inválidos (prompts/respostas vazios, IDs ausentes, timestamps malformados) são removidos antes da avaliação para garantir que as falhas reflitam a qualidade do modelo e não defeitos nos dados.
• Fragmentação (Sharding): O conjunto de dados é dividido em fragmentos aproximadamente equilibrados (ex: $N=4$) usando fatiamento round-robin e serializado para Parquet. Isso permite o processamento paralelo e isola falhas a fragmentos individuais.
• Aumento de Metadados: Os registros são enriquecidos com identificadores de linha globais estáveis, IDs de fragmento, metadados do worker e hashes de configuração para suportar rastreabilidade e deduplicação.

Execução Assíncrona de LLM-as-a-Judge

• Arquitetura: O pipeline utiliza execução assíncrona em mini-batches com concorrência limitada (gerenciada via semáforos) para evitar sobrecarga de rede.
• Especificidade de Tarefa: Suporta dois fluxos de trabalho distintos:
  1. Varejo Geral: Avalia utilidade, clareza, coerência, concisão, adesão à instrução, alinhamento de tom e veracidade.
  2. Tradução: Avalia precisão semântica, adequação cultural, legibilidade, relevância de vendas e ajuste ao template.
• Configuração: Rubricas específicas da tarefa, prompts (templates Jinja2) e esquemas de saída são carregados de armazenamento em nuvem como configurações YAML, garantindo reprodutibilidade versionada.

Reavaliação Seletiva e Governança

• Reavaliação Seletiva: Em vez de rodar todo o conjunto de dados novamente após uma falha, o sistema identifica registros incompletos, malformados ou com esquema inválido. Ele regenera apenas essas linhas específicas usando identificadores de linha estáveis e as mescla de volta, reduzindo significamente o custo e a latência.
• Governança de Esquema: Todas as saídas são verificadas quanto ao tipo e validadas quanto ao intervalo contra um esquema travado. Violações disparam logs de auditoria.
• Rastreabilidade: Cada saída inclui metadados de proveniência (versão do modelo, hash da configuração, ID do worker, índice do fragmento). Os resultados são transmitidos incrementalmente para o BigQuery usando escritores com esquema travado para evitar o desvio de saída (output drift).

3. Principais Contribuições

O artigo descreve cinco contribuições primárias:

1. Stack de Avaliação Governada: Um pipeline escalável e orientado a configuração para avaliação de chatbot de varejo em larga escala que impõe consistência de esquema e auditabilidade.
2. Mecanismo de Reavaliação Seletiva: Um processo de regeneração direcionado para registros inválidos ou incompletos que melhora a completude evitando a computação redundante.
3. Suporte a Fluxo de Trabalho Duplo: Schemas e fluxos de trabalho separados para tarefas de não-tradução (intenção geral/qualidade) e tarefas específicas de tradução (relevância cultural/de vendas).
4. Auditabilidade de Ponta a Ponta: Implementação de streaming determinístico em Parquet, logs de validação, configurações versionadas e proveniência por registro para garantir reprodutibilidade.
5. Benchmarking de Modelos: Uma análise comparativa de modelos de avaliação open-source para analisar as trocas entre qualidade e throughput em ambientes de varejo de alto volume.

4. Resultados Experimentais

O framework foi avaliado em mais de 2 milhões de registros de chatbots de varejo (aprox. 50.000 diários), com 95% de exemplos de não-tradução e 5% de tradução. A validação foi realizada contra um subconjunto de 12.980 registros rotulados por humanos de forma estratificada-aleatória, utilizando quatro anotadores cegos.

Métricas de Desempenho

• Classificação: O pipeline alcançou um F1 score macro de 0,93 em 14 intenções, 156 sub-intenções, 18 valores principais de domínio e 129 sub-valores de domínio.
• Tradução: Alcançou 89% de precisão de aceitabilidade humana para saídas de tradução.
• Pontuações de Qualidade: Dimensões como utilidade, veracidade e clareza foram registradas como pontuações numéricas (escala de 1 a 5).

Benchmarking de Modelos

Cinco modelos open-source foram testados (Llama 4B/8B/70B, Qwen3-14B, OSS-120B) sob condições idênticas (quantização de 4 bits, NVIDIA H100, batch size 512).

• Trocas (Trade-offs): Modelos menores (ex: Llama 4B) ofereceram maior throughput, mas pontuações menores em tarefas sutis (F1 0,82). Modelos maiores (Llama 70B) alcançaram o maior alinhamento com rótulos humanos (F1 0,93), mas exigiram mais recursos.
• Estratégia: Os autores sugerem uma abordagem em camadas onde modelos menores lidam com o monitoramento diário e modelos maiores são reservados para amostras de alto risco ou selecionadas para auditoria.

5. Significância e Alegações

O artigo alega que a avaliação baseada em LLM com esquema governado pode fornecer sinais de qualidade escaláveis e confiáveis para fluxos de trabalho de varejo corporativo. Sua significância reside em preencher a lacuna entre as capacidades teóricas do "LLM-as-a-judge" e os requisitos práticos de ambientes de produção (governança, custo e auditabilidade).

Os autores enfatizam que:

• A avaliação automatizada é um sinal diagnóstico, não um julgamento final, e deve ser acompanhada de supervisão humana para casos sensíveis.
• A reavaliação seletiva é um padrão de engenharia crítico para manter a completude dos dados sem incorrer no custo de novas execuções totais.
• Recursos de governança (bloqueio de esquema, configurações versionadas, streaming determinístico) são essenciais para reprodutibilidade e confiança em ambientes empresariais.

6. Limitações

Os autores reconhecem modestamente algumas restrições:

• Design de Validação: Cada registro rotulado por humanos foi revisado por apenas um anotador, o que significa que as métricas relatadas refletem o acordo com os rótulos disponíveis, em vez de um consenso humano totalmente adjudicado (não foram computadas estatísticas de acordo entre anotadores, como o alfa de Krippendorff).
• Generalização de Domínio: Os resultados são específicos para dados de chatbot de varejo e podem não se generalizar totalmente para domínios com perfis de risco diferentes (ex: saúde, jurídico).
• Escopo: O framework foca atualmente na avaliação de nível de turno baseada em texto e ainda não cobre entradas multimodais ou conversas interativas de longo horizonte.
• Reprodutibilidade: A reprodutibilidade a longo prazo continua sendo um desafio em ambientes dinâmicos onde os pesos dos modelos ou a infraestrutura podem mudar.

Trabalhos futuros propostos incluem avaliação multimodal, pontuação em tempo real online e medições de confiabilidade mais fortes (ex: curvas de calibração, intervalos de confiança de bootstrap).