Resumo Técnico: Avaliação de Aplicações de Modelos de Linguagem para Identificação de Conteúdo Relacionado a Soluções em Discussões de Relatórios de Issues

1. Problema e Motivação

Durante a resolução de problemas de software (defeitos, novos recursos, melhorias), desenvolvedores geram discussões extensas em sistemas de rastreamento de issues (como Bugzilla, Jira, GitHub). Essas discussões contêm informações cruciais sobre soluções propostas, avaliações de viabilidade e detalhes de implementação. No entanto, localizar manualmente esse "conteúdo relacionado a soluções" em discussões longas e entrelaçadas é uma tarefa demorada e cognitivamente exigente.

A dificuldade reside na natureza complexa das conversas, que misturam descrições de problemas, perguntas, revisões de código e soluções reais. A falta de ferramentas automatizadas para filtrar e destacar essas soluções específicas dificulta a manutenção de software, a investigação de regressões e a reutilização de soluções anteriores. O objetivo deste trabalho é automatizar a identificação de comentários relacionados a soluções em discussões de issues, tratando-o como um problema de classificação de texto binário (solução vs. não-solução).

2. Metodologia

O estudo foi realizado no projeto de código aberto Mozilla Firefox, utilizando um conjunto de dados previamente anotado contendo 356 issues e 4.917 comentários (808 relacionados a soluções e 4.109 não relacionados).

Abordagem Experimental

Os autores avaliaram 12 classificadores de texto divididos em três famílias de modelos, aplicados através de três estratégias de uso de Modelos de Linguagem (LMs):

1. Modelos de Aprendizado de Máquina Tradicionais (MLMs): SVM, Random Forest, Regressão Logística, KNN, Naive Bayes e Árvores de Decisão.
   • Estratégia: Uso de embeddings gerados por LMs (GPT-4, Llama-3, BERT) como entrada, comparado com o baseline TF-IDF.
2. Modelos de Linguagem Pré-treinados (PLMs): BERT, DistilBERT, RoBERTa, XLNet.
   • Estratégia: Fine-tuning (ajuste fino) para classificação.
3. Grandes Modelos de Linguagem (LLMs): Llama-3 (8B e 70B).
   • Estratégia: Prompting (Zero-shot, Few-shot, Chain-of-Thought) e Fine-tuning (usando LoRA e quantização de 4 bits).

Configurações e Análise

• Configurações Totais: Foram testadas 68 configurações diferentes.
• Validação: Cruzamento de 10 dobras (10-fold cross-validation) para os modelos supervisionados.
• Métricas: Precisão (P), Recall (R) e F1-Score (F1), com foco no F1 devido ao desequilíbrio das classes.
• Análise Adicional:
  • Ensembles: Combinação de modelos via votação majoritária.
  • Generalização: Avaliação da transferência de conhecimento para os projetos Chromium e GnuCash (usando treinamento específico, cruzado e híbrido).
  • Análise Qualitativa: Estudo de casos de erro (falsos positivos e negativos) dos três melhores modelos de cada categoria.

3. Principais Contribuições

1. Estudo Abrangente: Avaliação empírica de 12 classificadores (MLMs, PLMs, LLMs) para identificação de soluções em issues, explorando embeddings, prompting e fine-tuning.
2. Análise de Ensembles: Investigação da combinação de diferentes famílias de modelos para melhorar a precisão da identificação.
3. Análise Qualitativa de Falhas: Identificação de padrões de erro, como a dependência excessiva de jargão técnico ou a falta de contexto, que levam a classificações incorretas.
4. Estudo de Generalização: Demonstração de que modelos treinados no Mozilla transferem conhecimento para outros projetos e que a adição de poucos dados específicos do projeto melhora significativamente o desempenho.
5. Reprodutibilidade: Disponibilização completa do pacote de replicação (código, dados e documentação).

4. Resultados Chave

Desempenho dos Modelos

• Embeddings vs. TF-IDF: Modelos tradicionais (MLMs) com embeddings de LMs superaram consistentemente o TF-IDF. O SVM com embeddings do GPT-4 foi o melhor modelo leve (F1 = 0,663), superando o baseline em 41,6%.
• Prompting vs. Fine-tuning: O Prompting (mesmo com Chain-of-Thought e Few-shot) teve desempenho inferior (F1 máximo de 0,517 com Llama-3), indicando que modelos generativos têm dificuldade em capturar padrões sutis de discussão de soluções sem ajuste específico.
• Fine-tuning: Modelos ajustados finamente (Fine-tuned) alcançaram o melhor desempenho.
  • Llama-3ft (Fine-tuned): Alcançou o maior F1 geral (0,716) com alto Recall (0,838), superando todos os outros modelos.
  • RoBERTa: Segundo melhor PLM, com F1 de 0,692.
• Ensembles: A combinação dos melhores modelos de cada tipo (SVM + RoBERTa + Llama-3ft) resultou no melhor desempenho absoluto, atingindo um F1 de 0,737 (melhoria de 2,9% sobre o Llama-3ft isolado).

Generalização (Cross-Project)

• Modelos treinados apenas no Mozilla transferiram conhecimento para Chromium e GnuCash, superando modelos treinados apenas com dados limitados desses projetos (Treinamento Específico).
• Treinamento Híbrido: A combinação de dados do Mozilla com uma pequena quantidade de dados específicos do projeto (apenas 10 issues anotadas) produziu os melhores resultados.
  • No RoBERTa, o F1 subiu para 0,895 (Chromium) e 0,961 (GnuCash) no cenário híbrido.
  • Curiosamente, em conjuntos de dados menores, modelos menores (SVM, RoBERTa) superaram o Llama-3ft, sugerindo que LLMs grandes podem precisar de mais dados específicos para adaptação eficaz.

Análise Qualitativa de Erros

As falhas de classificação ocorreram principalmente devido a:

1. Pistas Enganosas: Comentários com jargão técnico, snippets de código ou palavras-chave como "patch" ou "fix" que não descreviam uma solução real, mas sim revisão ou verificação.
2. Falta de Contexto: Soluções implícitas ou comentários curtos que dependiam do histórico da discussão ou da descrição da issue para serem compreendidos.
3. Ambiguidade: Comentários longos e técnicos que confundiam os modelos sobre a intenção do autor.

5. Significância e Implicações

• Manutenção de Software: A automação da identificação de soluções pode reduzir drasticamente o tempo dos desenvolvedores para entender issues reabertas, regressões e para reutilizar soluções antigas.
• Eficiência de Recursos: O estudo mostra que equipes com recursos computacionais limitados podem obter bons resultados usando embeddings de LLMs com classificadores leves (como SVM), sem a necessidade de fine-tuning de modelos massivos.
• Estratégia de Implantação: A abordagem recomendada é começar com modelos pré-treinados no Mozilla e refiná-los com uma pequena quantidade de dados anotados do projeto local (Treinamento Híbrido), oferecendo um equilíbrio ideal entre generalização e adaptação.
• Futuro da Pesquisa: A necessidade de incorporar contexto mais rico (histórico da conversa, descrição da issue) e o uso de técnicas de IA explicável (XAI) para aumentar a confiança dos desenvolvedores nas recomendações automatizadas.

Em suma, o trabalho demonstra que a identificação automatizada de soluções em discussões de software é viável e altamente eficaz quando se utiliza fine-tuning de LLMs ou combinações de ensembles, superando abordagens tradicionais e de prompting puro.