Resumo Técnico: CASPER — Priorização de Fatias Sensível a Mudanças para Testes de Regressão Eficientes de Sistemas Baseados em LLM

1. Definição do Problema

O teste de regressão para sistemas baseados em Large Language Models (LLMs) enfrenta desafios únicos em comparação com o software tradicional. Em sistemas convencionais, uma falha em um único caso de teste indica confiavelmente uma falha; no entanto, devido à natureza probabilística dos LLMs, uma falha isolada não significa necessariamente uma regressão significativa no nível do sistema, nem fornece informações diagnósticas suficientes. Por outro lado, avaliar o desempenho apenas no nível agregado do conjunto de testes é muito grosseiro, falhando em identificar quais comportamentos específicos foram afetados por uma mudança.

O problema central é identificar "fatias de regressão" (regression slices) — subconjuntos de instâncias de regressão semanticamente relacionadas onde o sistema exibe um desempenho consistente (predominantemente bem-sucedido ou predominantemente falho) — e priorizar essas fatias com base na probabilidade de serem impactadas por uma mudança no sistema (ex: atualizações de modelo, modificações de prompt ou ajuste de hiperparâmetros). Essa priorização é crítica para testes de regressão de custo-benefício, particularmente em pipelines de CI/CD onde os orçamentos de teste são limitados.

As técnicas existentes de identificação de fatias (ex: baseadas em árvores de decisão, agrupamento ou métodos orientados por embeddings) são amplamente projetadas para modelos preditivos, modalidades específicas (imagens, séries temporais) ou tarefas de classificação. Elas frequentemente dependem de corpora externos de descrições de fatias ou arquiteturas de domínio específico, tornando-as inadequadas para a natureza generativa e baseada em texto dos sistemas baseados em LLM.

2. Metodologia: O Framework CASPER

Os autores propõem o CASPER (Change-Aware Slice Prioritization for Efficient Regression Testing of LLM-based systems), um framework de dois estágios projetado para identificar fatias de regressão significativas e priorizá-las após uma mudança no sistema.

Estágio 1: Identificação de Fatias (CASPER-SI)

O primeiro estágio particiona o conjunto de dados de teste de regressão em fatias que satisfazem dois objetivos concorrentes: consistência de saída (instâncias dentro de uma fatia compartilham resultados de sucesso/falha semelhantes) e coerência comportamental (instâncias compartilham características comportamentais semelhantes).

• Extração de Sinais Comportamentais: O CASPER extrai características quantitativas dos logs de conversação do agente (etapas de raciocínio, invocações de ferramentas, feedback de execução). Para o domínio de resolução de problemas de software, esses sinais incluem:
  • Recall ao nível de arquivo: Alinhamento entre os patches gerados e os padrões (gold patches).
  • Movimentação Absoluta Média de Estado (MASM): Estabilidade das transições de estado.
  • Desvio de Entropia de Trajetória (TED): Desvio da entropia de transição de estado em relação às linhas de base de sucesso.
  • Esforço de teste, Taxa de falha de teste, Razão de Arquivo Dominante, Sobreposição de estado cruzado e Métricas de conformidade de plano (PPC, POC, PPF).
• Busca Multiobjetivo: A identificação de fatias é formulada como um problema de otimização multiobjetivo. O CASPER utiliza o NSGA-II (um algoritmo genético de ordenação não dominada) para evoluir uma população de fatias candidatas. A otimização minimiza:
  1. Inconsistência de Saída (OI): A proporção de instâncias em uma fatia que divergem do resultado dominante de sucesso/falha.
  2. Distância Intra-Fatia: A distância euclidiana média entre os vetores de sinais comportamentais dentro de uma fatia (maximizando a coerência).
  3. Distância Inter-Fatia: A distância entre os centroides das fatias (maximizando a separação).
• Seleção: O algoritmo utiliza uma análise de ponto de joelho (knee-point analysis) no front de Pareto resultante para selecionar a solução de compromisso ideal, garantindo que as fatias não sejam nem muito granulares, nem muito grosseiras.

Estágio 2: Classificação de Fatias Regredidas

O segundo estágio prioriza as fatias com base na probabilidade de regressão após uma mudança (de uma versão $V_0$ para $V_1$).

• Modelo de Predição de Falhas: Um modelo (Regressão Logística ou SVM) é treinado nos dados de $V_0$ para mapear sinais comportamentais a um escore de impacto de falha (probabilidade de sucesso ou distância da fronteira de decisão).
• Amostragem Representativa: Para cada fatia identificada, um pequeno subconjunto de instâncias representativas é selecionado para execução no sistema alterado ($V_1$) usando Amostragem de Distância Mais Próxima (CDS) ou Amostragem de Ponto Mais Distante (FPS).
• Classificação de Impacto: O sistema calcula a mudança na taxa de falha ($\Delta FR$) e a razão de amostragem. Dois classificadores binários independentes (Random Forest) preveem se uma fatia Regrediu (R), Melhorou (I) ou Não Mudou (NC).
• Classificação (Ranking): As fatias são classificadas primeiro pelo seu categoria de impacto (R > I > NC) e depois pela mudança agregada no esscore de impacto de falha dentro de sua categoria. Isso garante que os desenvolvedores vejam as regressões mais prováveis primeiro.

3. Principais Contribuições

1. Framework CASPER: Um framework de ponta a ponta que permite o teste de regressão de custo-benefício para sistemas baseados em LLM, identificando fatias significativas e priorizando-as com base no impacto da mudança.
2. Identificação de Fatias Evolutiva (CASPER-SI): Uma abordagem agnóstica ao modelo que formula a identificação de fatias como um problema de otimização multiobjetivo usando NSGA-II. Não requer corpora de descrição externa ou arquiteturas de modelo específicas de domínio, tornando-o aplicável a tarefas generativas.
3. Classificação Baseada em Sinais Comportamentais: Uma abordagem inovadora que aprende modelos de predição de falhas a partir de logs de execução de agentes e usa mudanças no impacto de falha previsto para classificar fatias, em vez de depender apenas de métricas de desempenho agregadas.
4. Validação Empírica: Uma avaliação abrangente no domínio de resolução de problemas de software (usando SWE-bench Verified) demonstrando melhorias significativas sobre baselines de agrupamento e classificação aleatória.

4. Avaliação e Resultados

Os autores avaliaram o CASPER no dataset SWE-bench Verified usando o sistema Mini-swe-agent. Eles testaram quatro cenários: mudanças de modelo (famílias diferentes), mudanças de modelo da mesma família e duas mudanças distintas de prompt.

• Qualidade da Identificação de Fatias (RQ1):

  • O CASPER-SI superou significativamente os baselines de agrupamento (GMM e HDBSCAN) em Consistência de Saída (OC), atingindo uma OC média > 97% em comparação com ~74–84% dos baselines. Isso indica que o CASPER produz fatias onde o desempenho do LLM é altamente uniforme.
  • Em termos de Métrica de Coerência de Fatia (SCM), o CASPER-SI obteve resultados comparáveis ou superiores aos baselines na maioria dos datasets, embora o GMM tenha performado ligeiramente melhor no cenário de mudança de modelo da mesma família devido ao alinhamento de distribuição.
  • Testes estatísticos (Kruskal-Wallis e Dunn) confirmaram que as melhorias do CASPER-SI na consistência de saída são estatisticamente significativas.

• Efetividade da Classificação de Fatias (RQ2 & RQ3):

  • O CASPER superou consistentemente o baseline de classificação aleatória em todos os datasets e orçamentos de teste.
  • Recall@K e AUC: O CASPER alcançou valores de Recall@K mais altos, particularmente sob orçamentos de teste limitados (ex: inspecionando apenas os top 20-40% das fatias).
  • Ganho Relativo: A melhoria foi mais pronunciada para mudanças de prompt (até ~49% de ganho relativo em AUC) e mudanças de modelo (até ~46%), enquanto mudanças de modelos da mesma família mostraram ganhos mais modestos devido a mudanças comportamentais mais sutis.
  • A abordagem provou ser robusta a variações nos modelos de predição de falhas e estratégias de amostragem, embora o SVM com Amostragem de Distância Mais Próxima (CDS) tenha performado melhor para mudanças da mesma família.

5. Significância e Alegações

O artigo afirma que o CASPER aborda uma lacuna crítica no teste de regressão de sistemas baseados em LLM, indo além do "passa/falha" binário de instâncias individuais e das métricas excessivamente gerais de nível de suíte.

• Utilidade Prática: Ao identificar fatias semanticamente coerentes e priorizar aquelas com maior probabilidade de regredir, o CASPER permite que os desenvolvedores foquem recursos limitados de depuração nas mudanças mais relevantes, reduzindo significativamente o custo do teste de regressão em pipelines de CI/CD.
• Generalização: Embora avaliado no domínio de resolução de problemas de software, os autores afirmam que o framework é agnóstico ao modelo e pode ser adaptado para outros domínios de LLM através da customização dos sinais comportamentais e métricas de desempenho.
• Modéstia: Os autores reconhecem que os sinais comportamentais são proxies de engenharia e podem não capturar todos os aspectos do comportamento do agente. Eles também observam que o desempenho varia dependendo da magnitude da mudança de comportamento induzida pela alteração (ex: atualizações de modelos da mesma família são mais difíceis de distinguir do que atualizações entre famílias diferentes).

Em conclusão, o CASPER fornece uma abordagem estruturada e automatizada para organizar e priorizar testes de regressão para sistemas de LLM, ofereando uma solução prática para os desafios de não-determinismo e avaliação de granularidade grosseira no desenvolvimento moderno de software impulsionado por IA.