GAICo: A Deployed and Extensible Framework for Evaluating Diverse and Multimodal Generative AI Outputs

1. O Problema

A rápida proliferação da Inteligência Artificial Generativa (GenAI) em domínios de alto risco criou uma lacuna crítica nas metodologias de avaliação. Atualmente, os praticantes recorrem frequentemente a scripts ad-hoc e não padronizados devido à inadequação das métricas tradicionais (como BLEU e ROUGE) para:

• Saídas Estruturadas: Dados como planos automatizados ou previsões de séries temporais.
• Comparação Holística Multimodal: A necessidade de comparar outputs que combinam texto, áudio e imagem simultaneamente.

Essa fragmentação impede a comparabilidade entre sistemas, torna a reprodutibilidade difícil e desacelera o desenvolvimento de IA. Não existe uma ferramenta unificada que permita avaliar pipelines complexos de IA (onde um modelo orquestrador gera prompts para modelos especialistas) de forma consistente.

2. Metodologia: O Framework GAICo

O GAICo (Generative AI Comparator) é uma biblioteca Python de código aberto, implantada e extensível, projetada para padronizar e simplificar a comparação de outputs de GenAI. Sua arquitetura baseia-se em três componentes principais:

• Classe Base BaseMetric: O núcleo da arquitetura. É uma classe abstrata que define uma interface consistente para todas as métricas, exigindo apenas a implementação de um método calculate(generated_texts, reference_texts). Isso permite o processamento em lote eficiente e a fácil extensão do sistema por desenvolvedores.
• Biblioteca de Métricas Abrangente: O GAICo integra métricas para diversas modalidades:
  • Texto: Métricas baseadas em n-gramas (BLEU, ROUGE), similaridade (Jaccard, Cosine) e semântica (BERTScore).
  • Dados Estruturados: Métricas especializadas para sequências de planejamento (PlanningLCS, PlanningJaccard) e séries temporais (TimeSeriesDTW para lidar com variações de fase/velocidade).
  • Multimídia (Imagem/Áudio): Integração de métricas estabelecidas como SSIM, PSNR (imagens) e SNR, PESQ, STOI (áudio).
• Classe de Alto Nível Experiment: Uma API que abstrai o fluxo de trabalho completo. Permite comparar múltiplos modelos contra uma referência, calcular pontuações, gerar visualizações (gráficos de barras, radar) e exportar relatórios CSV com apenas algumas linhas de código.

Diferencial Técnico: Ao contrário de frameworks como Ragas ou DeepEval que estão acoplados à inferência de LLMs (usando "LLM-as-a-judge"), o GAICo é um framework de comparação post-hoc (a posteriori). Ele avalia outputs já gerados, eliminando custos de API, limites de taxa e não-determinismo durante a avaliação, focando na análise comparativa reprodutível.

3. Contribuições Principais

1. Framework Unificado e Extensível: Uma estrutura orientada a objetos que integra métricas para texto, dados estruturados e multimídia em uma única API.
2. Fluxo de Trabalho Otimizado: A classe Experiment reduz a complexidade de avaliação de ponta a ponta, automatizando cálculo, visualização e relatórios.
3. Utilidade Demonstrada para Debugging: Um estudo de caso que mostra como isolar falhas em sistemas compostos (diferenciando falhas do orquestrador das falhas dos modelos especialistas).
4. Ferramenta Implantada e Mantida: Disponibilizada no PyPI com dependências opcionais, testes robustos (pytest), integração contínua (CI) e documentação extensa, facilitando a adoção pela comunidade.

4. Resultados e Estudo de Caso

O artigo apresenta um estudo de caso detalhado avaliando três pipelines de "Assistente de Viagem com IA", cada um utilizando combinações diferentes de modelos orquestradores e especialistas (geração de imagem e áudio).

• Estratégia de Avaliação: O GAICo executou uma avaliação em duas partes:
  1. Coerência do Plano: Comparação dos planos JSON gerados por diferentes orquestradores contra uma referência de alta qualidade.
  2. Qualidade de Geração da Modalidade: Avaliação da fidelidade dos modelos especialistas (imagem/áudio) usando os prompts gerados pelo próprio pipeline como referência.
• Descobertas Chave:
  • O pipeline baseado em GPT-5 (Pipeline A) serviu como baseline perfeita.
  • Pipelines baseados em modelos open-source (Llama 4) e Google (Gemini 2.5 Pro) mostraram desvios significativos na coerência do plano.
  • Isolamento de Falhas: O GAICo permitiu identificar que, embora alguns orquestradores gerassem prompts válidos, os modelos especialistas de áudio desses pipelines tinham baixa fidelidade (baixo SNR) em comparação à baseline.
  • Visualização: Gráficos de radar gerados pelo GAICo permitiram uma comparação visual rápida do desempenho entre os pipelines em múltiplas métricas simultaneamente.

5. Significado e Impacto

O GAICo aborda diretamente o objetivo de "mover-se mais rápido e com mais segurança" no desenvolvimento de IA:

• Reprodutibilidade: Substitui scripts fragmentados por uma abordagem padronizada, permitindo que resultados sejam comparáveis e reproduzíveis.
• Aceleração do Desenvolvimento: Reduz drasticamente o tempo gasto na criação de scripts de avaliação, permitindo iteração rápida de componentes de sistemas compostos.
• Confiabilidade e Segurança: Ao permitir o diagnóstico granular de falhas (separando problemas de planejamento de problemas de execução), o GAICo ajuda a construir sistemas de IA mais confiáveis e a mitigar riscos antes da implantação.
• Adoção da Comunidade: Desde seu lançamento no PyPI em junho de 2025, a ferramenta foi baixada mais de 16.000 vezes até dezembro de 2025, demonstrando um interesse crescente e validação prática.

Em suma, o GAICo preenche uma lacuna crítica ao fornecer a primeira ferramenta unificada e implantada para avaliação reprodutível de outputs multimodais de GenAI, facilitando a construção de sistemas de IA mais robustos e complexos.