Resumo Técnico: Ponte entre Geração e Treinamento: Uma Revisão Sistemática de Questões de Qualidade em LLMs para Código

Declaração do Problema

Os Modelos de Linguagem de Grande Escala (LLMs) transformaram a engenharia de software ao automatizar tarefas como conclusão de código, reparo e geração de testes. No entanto, sua adoção prática é prejudicada pela geração frequente de código defeituoso, variando de bugs lógicos e erros de sintaxe a vulnerabilidades de segurança críticas e violações de conformidade. Embora essas falhas sejam frequentemente atribuídas a limitações inerentes dos modelos, evidências empíricas sugerem cada vez mais que suas causas raiz residem em imperfeições nos corpora de treinamento.

Existe uma lacuna significativa na literatura atual: os mecanismos específicos que ligam problemas de qualidade dos dados de treinamento a problemas de qualidade do código gerado permanecem em grande parte mapeados. A pesquisa existente sofre de três deficiências críticas:

1. Taxonomias Fragmentadas: Estudos focam em dimensões de qualidade isoladas (por exemplo, segurança ou correção) sem um quadro unificado para categorizar tanto defeitos de código gerado quanto falhas nos dados de treinamento.
2. Mapeamentos Causais Inclaros: Há uma falta de mecanismos formalizados que expliquem como falhas específicas do conjunto de dados (por exemplo, APIs descontinuadas, desequilíbrio de dados) se propagam em defeitos de código.
3. Estratégias de Mitigação Desconectadas: Técnicas de detecção e mitigação estão dispersas entre curadoria de dados, treinamento de modelos e fases pós-geração, carecendo de uma abordagem integrada de ciclo de vida.

Metodologia

Este artigo apresenta uma Revisão Sistemática da Literatura (RSL) de 114 estudos primários publicados entre o final de 2021 e o início de 2026. A revisão seguiu diretrizes estabelecidas de engenharia de software, envolvendo:

• Estratégia de Busca: Um processo multiestágio combinando buscas por palavras-chave booleanas em cinco grandes bibliotecas digitais (IEEE Xplore, ACM Digital Library, SpringerLink, ScienceDirect, arXiv) com bola de neve retroativa e prospectiva.
• Critérios de Seleção: Estudos foram incluídos se investigassem LLMs aplicados a tarefas de código, focassem em atributos de qualidade específicos de código ou dados e fornecessem fundamentação empírica.
• Avaliação de Qualidade: Uma avaliação estruturada usando oito critérios (por exemplo, rigor metodológico, profundidade de análise causal, transparência) com um sistema de pontuação (0–16). Estudos com pontuação abaixo de 10 foram excluídos.
• Síntese: Uma abordagem de codificação qualitativa iterativa (Codificação Aberta, Axial e Seletiva) foi utilizada para extrair dados e sintetizar descobertas em taxonomias unificadas e quadros causais.

Principais Contribuições

1. Taxonomia Unificada Bidimensional

Os autores propõem uma taxonomia abrangente que categoriza questões de qualidade em duas dimensões:

• Questões de Qualidade do Código Gerado (9 Dimensões):
  1. Correção: Erros de sintaxe, falhas lógicas e uso inadequado de APIs/dependências.
  2. Segurança: Vulnerabilidades acionadas externamente (por exemplo, injeção SQL) e vulnerabilidades inerentes (por exemplo, chaves codificadas).
  3. Conformidade: Violações de restrições legais/éticas, incluindo código malicioso, vazamentos de privacidade e violação de direitos autorais.
  4. Robustez: Incapacidade de lidar com entradas anormais ou condições de contorno.
  5. Manutenibilidade: Complexidade estrutural, baixa modularidade e falta de reutilizabilidade.
  6. Compreensibilidade: Más convenções de nomenclatura, comentários ausentes e "números mágicos".
  7. Eficiência: Complexidade de tempo/espaço subótima e desperdício de recursos.
  8. Parcimônia da Saída: Geração de código redundante, verboso ou repetitivo.
  9. Vários: Questões como baixa adesão a instruções.
• Questões de Qualidade dos Dados de Treinamento (2 Grupos Principais):
  • Atributos de Código: Defeitos dentro de amostras individuais (Correção, Segurança, Conformidade, Robustez, Manutenibilidade, Compreensibilidade, Eficiência).
  • Atributos Não-Código: Propriedades macro do conjunto de dados (Riscos de Conformidade/Segurança em texto, Desequilíbrio de Distribuição, Redundância, Diversidade Inadequada, Contaminação de Dados, Dados de Baixo Valor).

2. Quadro Causal e Mecanismos de Propagação

O artigo formaliza um quadro causal detalhando 18 mecanismos típicos de mapeamento de propagação que ligam problemas de dados a defeitos de código. Estes são divididos em:

• Mapeamentos Diretos (10 mecanismos): Replicação explícita de defeitos de atributos de código. Exemplos incluem:
  • APIs Descontinuadas $\rightarrow$ Falhas de Compatibilidade: Memorização de chamadas de bibliotecas obsoletas.
  • Defeitos de Sintaxe $\rightarrow$ Erros de Compilação: Propagação de invalidade estrutural a partir de trechos não verificados.
  • Práticas Inseguras $\rightarrow$ Código Vulnerável: Replicação de idiossincrasias inseguras (por exemplo, eval(), entrada não validada).
• Mapeamentos Indiretos (8 mecanismos): Distorção da distribuição de aprendizado devido a atributos não-código. Exemplos incluem:
  • Redundância $\rightarrow$ Diversidade Reduzida: Overfitting a padrões repetitivos devido a amostras duplicadas.
  • Desequilíbrio de Distribuição $\rightarrow$ Desempenho Viesado: Desempenho distorcido entre linguagens ou domínios devido à escassez de dados.
  • Desalinhamento Instrucional $\rightarrow$ Deriva Semântica: Geração de código sintaticamente correto, mas semanticamente incorreto, devido a docstrings incompatíveis.

3. Síntese de Técnicas de Detecção e Mitigação

A revisão sintetiza técnicas de última geração ao longo do ciclo de vida do LLM:

• Detecção: Vai além da verificação estática de regras para quadros híbridos combinando Análise Dinâmica (testes baseados em execução, monitoramento em tempo de execução), Análise Estática (ferramentas baseadas em regras, revisão humana) e Detecção Baseada em Modelos (LLM como juiz, classificadores de ML leves).
• Mitigação: Identifica uma mudança do filtragem reativa pós-geração para governança proativa centrada em dados. As estratégias incluem:
  • Nível de Dados: Filtragem por feedback de execução, sanitização baseada em regras, limpeza baseada em LLM e balanceamento de dados.
  • Nível de Modelo: Ajuste fino, alinhamento de instruções (RLHF/DPO) e otimização baseada em recompensa.
  • Nível de Geração: Engenharia de prompts, Geração Aumentada por Recuperação (RAG), intervenções no momento da decodificação e autorreflexão iterativa.

Resultados e Descobertas

• Tendências de Pesquisa: A pesquisa sobre qualidade de código explodiu desde 2023, com uma mudança clara de um foco singular em Correção (52 estudos) para uma visão multidimensional incluindo Segurança (24) e Manutenibilidade (22).
• Análise de Causa Raiz: A revisão confirma que defeitos de código gerado raramente são déficits de raciocínio isolados, mas estão profundamente enraizados na qualidade dos dados de treinamento. "Lixo entra, lixo sai" aplica-se não apenas a erros explícitos, mas também a vieses distribucionais sistêmicos (por exemplo, desequilíbrio de dados causando baixa generalização em linguagens de baixo recurso).
• Mudança Metodológica: O campo está transitando de filtragem pós-geração reativa e baseada em heurísticas para governança proativa centrada em dados e reparo em ciclo fechado.
• Identificação de Lacunas: A pesquisa atual carece de métodos formais de atribuição causal para rastrear falhas de geração específicas de volta a origens de dados específicas, e a contaminação de benchmarks permanece uma ameaça pervasiva à integridade da avaliação.

Significado e Alegações

O artigo afirma ser a primeira revisão sistemática da literatura a conectar explicitamente a lacuna entre a qualidade dos dados de treinamento e a qualidade do código gerado. Seu significado reside em:

1. Estabelecer um Quadro Unificado: Fornecer um vocabulário e uma taxonomia consistentes que resolvem a fragmentação na literatura existente, permitindo a comparação sistemática de questões de qualidade.
2. Formalizar a Causalidade: Ir além da correlação para mapear mecanismos específicos de propagação, permitindo que pesquisadores e profissionais rastreiem falhas de geração de volta às suas origens em conjuntos de dados.
3. Orientar a Governança Futura: Argumentar que LLMs confiáveis para código não podem ser alcançados apenas por melhorias na arquitetura do modelo. Em vez disso, a comunidade deve adotar curadoria integrada de dados e estratégias de avaliação contínua que tratem a qualidade dos dados como a alavanca primária para a confiabilidade do software.

Os autores concluem que, embora a "engenharia de adaptação" (por exemplo, RAG, uso de ferramentas) ofereça compensação no momento da implantação, ela não substitui a necessidade de dados de treinamento de alta qualidade. A confiabilidade futura depende da transição de intervenções desconectadas e específicas de estágio para pipelines de qualidade ponta a ponta que garantam rastreabilidade bidirecional entre corpora de treinamento e artefatos gerados.