STELLAR-E: a Synthetic, Tailored, End-to-end LLM Application Rigorous Evaluator

1. Declaração do Problema

A rápida adoção de Modelos de Linguagem de Grande Escala (LLMs) em setores regulamentados (por exemplo, finanças, saúde) criou um gargalo crítico na avaliação e em benchmarks. Os desafios atuais incluem:

• Escassez de Dados e Privacidade: A coleta de conjuntos de dados de alta qualidade, específicos de domínio e específicos de idioma é dificultada por regulamentações de privacidade, sensibilidade dos dados e pelo alto custo/tempo de anotação manual.
• Limitações da Automação Existente: Benchmarks automatizados existentes frequentemente dependem do aumento ou anonimização de dados existentes (inadequados para domínios de alta segurança), focam em domínios estreitos ou carecem de suporte multilíngue.
• Lacunas Multilíngues: Benchmarks não em inglês são escassos. Confiar na tradução automática introduz "tradutês", artefatos culturais e perda de nuance, ampliando a disparidade entre idiomas de alto recurso e de baixo recurso.
• Escalabilidade: Os métodos atuais lutam para gerar conjuntos de dados diversificados e em grande escala sem intervenção humana, tornando o monitoramento contínuo em LLMOps (pipelines CI/CD) difícil.

2. Metodologia: O Pipeline STELLAR-E

O STELLAR-E é um sistema totalmente automatizado, de ponta a ponta, projetado para gerar conjuntos de dados sintéticos personalizáveis de instruções-respostas (I&A) de alta qualidade e avaliar LLMs contra eles. O sistema é construído sobre uma arquitetura de duas etapas:

Etapa 1: Motor de Geração de Dados Sintéticos

O sistema modifica o framework TGRT Self-Instruct para criar um pipeline de geração controlável. Ele opera através das seguintes etapas modulares:

1. Definição do Tipo de Pergunta (QT): Pesquisadores definem domínios específicos ou tipos de perguntas adversariais (por exemplo, raciocínio, segurança) para orientar a geração.
2. Geração e Filtragem de Tópicos: Um LLM gera tópicos candidatos (frases nominais) para cada QT. Estes são filtrados usando um framework G-Eval personalizado para garantir correção semântica e relevância.
3. Geração de Instruções e Melhoria de Qualidade:
   • Loop de Feedback: As instruções são geradas iterativamente. Instâncias de baixa qualidade não são descartadas imediatamente, mas são realimentadas a um LLM com feedback específico para regenerá-las.
   • Critérios de Qualidade: As instruções são pontuadas com base em Diversidade, Relevância, Concisão e Correção.
4. Aprimoramento de Dificuldade (DFE): Para prevenir a geração de tarefas triviais, um módulo parafraseia instruções para aumentar a complexidade, garantindo que desafiem o LLM alvo (inspirado em geração adversarial).
5. Geração de Respostas e Melhoria de Qualidade: As respostas são geradas separadamente das instruções (decomposição por amostra) para reduzir alucinações. Elas são avaliadas com base em Correção, Relevância, Concisão, Completude e Segurança.
6. Aprimoramento de Diversidade (DVE): Um modelo de incorporação multilíngue (bge-m3) computa incorporações para todos os pares I&A. Um algoritmo de distância em pares filtra pares redundantes, garantindo que o conjunto de dados final seja semanticamente e linguisticamente diversificado.

Etapa 2: Pipeline de Avaliação

O sistema inclui um componente de avaliação embutido para validar a fidelidade dos dados sintéticos contra benchmarks curados por humanos.

• Métrica: Utiliza um framework G-Eval personalizado (LLM como juiz) com raciocínio de Cadeia de Pensamento.
• Modelos: Emprega o Gemini 2.0 Flash para geração/filtragem e o Gemini 2.5 Pro para avaliação, a fim de garantir robustez e minimizar viés.
• Limites: Um limite de pontuação ($\tau = 8$ em uma escala de 1–10) é usado para aceitar dados de alta qualidade.

3. Contribuições Principais

• Pipeline Totalmente Automatizado e Personalizável: Um sistema que gera conjuntos de dados sintéticos de tamanho, idioma e domínio personalizados sem depender de dados do mundo real pré-existentes.
• Otimizações de Qualidade Alternáveis:
  • Aprimoramento de Diversidade (DVE): Usa distâncias de incorporação para eliminar redundância.
  • Aprimoramento de Dificuldade (DFE): Aumenta a complexidade do prompt para testar melhor as capacidades do modelo.
• Mecanismos de Supervisão Robustos: Implementação de um loop de feedback para regeneração e um processo de filtragem multietapa (Tópico $\to$ Instrução $\to$ Resposta) para garantir alta fidelidade.
• Suporte Multilíngue: O sistema suporta nativamente a geração e avaliação de dados em múltiplos idiomas (demonstrado em inglês e italiano), evitando as armadilhas da tradução simples.

4. Resultados Experimentais

Os autores avaliaram o STELLAR-E usando o conjunto de dados Mintaka (um benchmark de QA) em inglês e italiano, comparando dados sintéticos contra dados reais curados por humanos e dados traduzidos por máquina. Eles testaram dois modelos: um Modelo Forte (Gemini 2.5 Flash) e um Modelo Fraco (Llama 2 13B).

Principais Descobertas:

• Fidelidade aos Dados Reais: Os conjuntos de dados sintéticos com DVE e DFE ativados alcançaram a correspondência de desempenho mais próxima aos dados do mundo real.
  • Modelo Forte: A lacuna nas pontuações G-Eval entre dados sintéticos e reais foi reduzida para +5,7%.
  • Modelo Fraco: A lacuna foi de +10,9% em inglês e +0,7% em italiano, indicando que os dados sintéticos são altamente eficazes mesmo para modelos menores.
• Métricas de Qualidade:
  • Os dados sintéticos geralmente mostraram pontuações de Precisão e Completude mais altas do que os dados reais, sugerindo que as instruções geradas podem ser ligeiramente mais fáceis ou mais estruturadas do que as consultas humanas.
  • As pontuações de Relevância caíram significativamente quando DVE/DFE foram aplicados, aproximando-as das linhas de base do mundo real, provando que esses módulos testam efetivamente a capacidade do modelo de manter-se no tópico.
  • As pontuações ROUGE-L foram mais baixas para dados sintéticos, indicando que os modelos geram respostas semanticamente semelhantes, mas sintaticamente diferentes, em comparação com as respostas humanas "douradas".
• Tradução vs. Síntese: Em italiano, os dados traduzidos por máquina performaram ligeiramente melhor do que os dados reais (sugerindo que a tradução removeu ambiguidades), mas os dados sintéticos permaneceram uma alternativa robusta que evita artefatos culturais.

5. Significado e Conclusão

O STELLAR-E atende à necessidade crítica de avaliação escalável, compatível com privacidade e adaptável a domínios para LLMs.

• Eficiência: Oferece uma alternativa mais rápida à criação manual de conjuntos de dados, permitindo ciclos rápidos de garantia de qualidade em LLMOps.
• Equidade: Ao gerar conjuntos de dados personalizados, permite a avaliação justa de aplicações LLM em domínios e idiomas específicos sem depender de dados reais sensíveis.
• Impacto Futuro: O sistema é modular, permitindo que componentes sejam reutilizados para treinamento, ajuste fino (via RL) ou avaliação de RAG. Os autores observam que, embora os dados sintéticos sejam um substituto forte, trabalhos futuros devem incluir avaliação humana para detectar vieses sistêmicos sutis introduzidos pelos próprios LLMs.

Em resumo, o STELLAR-E demonstra que a avaliação rigorosa e de alta qualidade para LLMs pode ser alcançada por meio de geração totalmente automatizada de dados sintéticos, preenchendo a lacuna entre a necessidade de conjuntos de dados de avaliação massivos e as restrições de privacidade e esforço manual.