Resumo Técnico: Além da Correção Funcional na Programação Assistida por IA

Declaração do Problema

A avaliação de Grandes Modelos de Linguagem (LLMs) em engenharia de software tem se baseado historicamente em métricas de correção funcional, como a porcentagem de soluções que passam em um conjunto de testes predefinido (ex: pass@k). Embora essa abordagem facilite comparações de modelos reproduzíveis, ela é insuficiente para contextos de engenharia de software onde atributos de qualidade interna — manutenibilidade, robustez, segurança e design arquitetônico — são críticos. Além disso, o surgimento de interfaces de linguagem natural borrou a linha entre programadores profissionais e não programadores, levantando questões sobre a qualidade dos artefatos produzidos por não especialistas assistidos por IA em comparação com aqueles produzidos por programadores trabalhando sem IA.

Trabalhos anteriores dos autores estabeleceram que não programadores assistidos por IA (NP-AI) poderiam alcançar taxas de sucesso funcional e tempos de solução comparáveis ou superiores aos de programadores sem IA (P-noAI). No entanto, esse estudo não analisou a qualidade interna do código além dos resultados de passar/falhar, nem examinou a qualidade do processo de interação humano-IA. Este artigo aborda essas lacunas realizando uma análise secundária e exploratória do mesmo conjunto de dados quase-experimental para determinar:

1. Se o NP-AI produz código com maior qualidade interna do que o P-noAI quando avaliado além da correção funcional.
2. Como a qualidade da interação humano-IA (engenharia de prompt) se correlaciona com a qualidade do código e o sucesso dentro do grupo NP-AI.
3. Como as métricas estáticas de código se relacionam com as diferenças de grupo e a qualidade baseada em auditoria.

Metodologia

O estudo é uma análise secundária de um experimento quase-experimental de grupos não equivalentes envolvendo 52 participantes: 26 não programadores assistidos por um LLM (NP-AI) e 26 programadores (novatos e especialistas) trabalhando sem IA (P-noAI). Os participantes resolveram um de três desafios de Python (CB, CI, CA) representando baixa, média e alta complexidade.

Novos Instrumentos de Medição

Os autores introduziram dois instrumentos primários aplicados post-hoc aos artefatos arquivados (código-fonte e transcrições do ChatGPT):

1. Rubrica de Auditoria de Código-Fonte (0–12 pontos): Um protocolo de avaliação híbrido que avalia a qualidade interna do código.

   • Critérios Pontuados por Especialistas (AQ1–AQ5): Três especialistas cegos pontuaram cinco critérios (0–2 cada) baseados em semântica/nomenclatura, arquitetura/modularidade, adequação de estrutura de dados, robustez/tratamento de exceções e separação de responsabilidades. As pontuações foram consolidadas usando a mediana.
   • Critério Automatizado (AQ6): Um critério de análise estática (0–2) computado via Flake8, medindo a densidade de incidentes (violações por 100 linhas de código).
   • Confiabilidade: A confiabilidade inter-avaliador para os critérios de especialistas foi alta (ICC(A,3) = 0,938).

2. Rubrica de Interação Humano-IA (0–16 pontos): Aplicada exclusivamente às transcrições do NP-AI para quantificar a qualidade da interação como uma forma de especificação de requisitos de alto nível.

   • Critérios (IQ1–IQ7): Sete critérios avaliaram clareza de objetivos, estrutura de comunicação, uso de casos de teste e a declaração explícita de entradas, saídas, regras de negócio e operações.
   • Confiabilidade: A confiabilidade inter-avaliador foi alta (ICC(A,3) = 0,9438).

3. Métricas Estáticas de Código: Extração automatizada de Linhas de Código (LOC), linhas de comentário, contagem de funções e contagem de classes.

Análise Estatística

A análise empregou testes não paramétricos (Mann–Whitney U) para comparações de grupos, estimativa de tamanho de efeito (Cliff's $\delta$, Hedges $g$) e modelos de regressão (OLS, logística) ajustados pela complexidade do desafio. Análises de sensibilidade foram conduzidas, incluindo a restrição da amostra a submissões totalmente corretas (3/3 testes passados) e a exclusão do critério automatizado (AQ6) para isolar o julgamento do especialista.

Principais Contribuições

O artigo apresenta três contribuições primárias:

• C1: Instrumento Reutilizável de Auditoria de Código-Fonte: Um protocolo híbrido combinando pontuação de especialistas e análise estática automatizada para avaliar manutenibilidade, robustez e design arquitetônico além da correção funcional.
• C2: Instrumento Reutilizável de Qualidade de Interação: Uma rubrica de 16 pontos que operacionaliza a interação humano-IA como uma habilidade de especificação, capturando aspectos de engenharia de prompt como clareza de objetivos e uso de casos de teste.
• C3: Evidência Exploratória: Evidência quantitativa vinculando a qualidade da interação à qualidade do artefato e comparando o desempenho de NP-AI e P-noAI através dessas novas métricas em diferentes complexidades de tarefa.

Resultados

RQ1: A qualidade do programa baseada em auditoria é maior em NP-AI do que em P-noAI?

• Geral: O NP-AI alcançou pontuações de auditoria de código-fonte significativamente mais altas que o P-noAI (Média: 9,12 vs. 6,62; $p = 0,0005$, Cliff's $\delta = 0,56$).
• Complexidade: A separação foi mais forte no desafio de alta complexidade (CA), onde o NP-AI pontuou significativamente mais alto ($p = 0,0050$, $\delta = 0,77$).
• Controle de Correção Funcional: Mesmo restringindo a análise apenas a submissões totalmente corretas (3/3 testes passados), o NP-AI manteve uma pontuação de auditoria mais alta ($p = 0,0431$).
• Robustez: O resultado manteve-se mesmo excluindo o critério automatizado baseado em lint (AQ6), baseando-se apenas na pontuação de especialistas (AQ1–AQ5), embora a significância tenha sido ligeiramente reduzida no subconjunto totalmente correto.

RQ2: Dentro do grupo NP-AI, como a qualidade da interação está associada aos resultados?

• Interação vs. Qualidade do Código: Existe uma forte associação positiva entre as pontuações de qualidade de interação e as pontuações de auditoria de código-fonte (Pearson $r = 0,859$, $p < 0,001$). Esta relação permaneceu significativa após controlar a complexidade do desafio.
• Interação vs. Sucesso: A qualidade da interação mostrou uma associação fraca e não significativa com o sucesso binário (passar em todos os testes).
• Volume vs. Resultados: O volume de interação (número de turnos) correlacionou-se fortemente com o tempo para solução, mas mostrou uma tendência negativa (não significativa) com o sucesso, sugerindo que sessões mais longas refletem luta iterativa em vez de especificação eficaz.

RQ3: Como as métricas estáticas de código se relacionam com o grupo e a qualidade?

• Estrutura vs. Tamanho: Embora o LOC total tenha sido semelhante entre os grupos, as soluções do NP-AI continham significativamente mais comentários (Mediana: 5 vs. 0; $p = 0,00095$).
• Correlação com a Qualidade: Métricas estáticas relacionadas à decomposição estrutural (contagem de funções, contagem de classes) mostraram fortes correlações positivas com a pontuação de auditoria, enquanto o LOC bruto mostrou uma correlação moderada. Isso sugere que a rubrica de auditoria é sensível à modularidade e organização, não apenas ao volume de código.

Significância e Alegações

Os autores interpretam esses achados com cautela, evitando alegações de superioridade causal. O artigo postula que, sob condições controladas, a assistência de LLM pode "elevar o piso" da qualidade estrutural para não programadores. As pontuações de auditoria mais altas para NP-AI são atribuídas ao suporte (scaffolding) fornecido pelos LLMs, que adotam por padrão heurísticas de manutenibilidade convencionais (ex: funções auxiliares nomeadas, separação de preocupações, formatação tipo PEP8) que programadores humanos sem IA podem negligenciar sob pressão de tempo em favor de implementações funcionais mínimas.

A forte ligação entre qualidade de interação e qualidade de código sugere que a engenharia de prompt atua como uma forma de especificação de requisitos. Quando os não programadores articulam explicitamente objetivos, restrições e casos de teste, o código resultante exibe melhor estrutura interna. No entanto, a ligação fraca entre a qualidade da interação e o sucesso funcional destaca uma lacuna de "última milha": especificações bem estruturadas não garantem que restrições comportamentais sutis ou casos de borda sejam implementados corretamente sem verificação rigorosa.

O estudo conclui que a avaliação da programação assistida por IA requer ir além das métricas de passar/falhar para incluir a qualidade interna e as medidas do processo de interação. As rubricas fornecidas e o pacote de replicação são oferecidos como instrumentos reutilizáveis para futuros estudos controlados para investigar mais profundamente essas dinâmicas.