Resumo Técnico: Articulado mas Errado: Falhas de Autoavaliação na Modernização de Código Baseada em LLM

Declaração do Problema

À medida que agentes de Modelo de Linguagem (LLM) são cada vez mais implantados para migrar código legado (especificamente de Python 2 para Python 3) para pilhas modernas, uma lacuna crítica de confiabilidade permanece: a ausência de garantia automatizada de correção. Enquanto erros sintáticos (por exemplo, APIs removidas) são facilmente detectados por falhas de compilação, a deriva comportamental silenciosa é o modo de falha mais insidioso. Isso ocorre quando o código modernizado compila e executa sem exceções, mas produz saídas plausíveis, porém incorretas, que violam o contrato legado original.

A questão central de pesquisa é se o mesmo LLM que gera a migração pode ser confiável para reconhecer quando sua própria saída alterou silenciosamente o comportamento observável. O artigo investiga a viabilidade da autoavaliação (pedir ao modelo produtor que julgue sua própria saída) como uma rede de segurança para essas derivações silenciosas.

Metodologia

Os autores construíram um quadro experimental rigoroso para medir a deriva e a confiabilidade da autoavaliação:

• Corpus: Um conjunto de dados balanceado de 60 trechos de Python 2 legado divididos em três categorias:
  • Armadilhas Semânticas (20 trechos): Idiomatismos onde a modernização pode alterar silenciosamente o comportamento (por exemplo, semântica numérica como divisão inteira, avaliação preguiçosa, diferenças no modelo de tipos).
  • Armadilhas Sintáticas (20 trechos): Idiomatismos com equivalentes em Python 3 inequívocos (por exemplo, has_key, xrange).
  • Controle Benigno (20 trechos): Código que não requer alterações semânticas (por exemplo, a+b), servindo como linha de base para a deriva inerente do modelo.
• Modelos: 1.980 chamadas de modernização foram executadas em 11 LLMs de produção de 7 famílias distintas (incluindo OpenAI, Google, Anthropic, Meta, DeepSeek, Alibaba, Mistral e Cohere), abrangendo uma faixa de custo de ~200x.
• Avaliação (O Oráculo): As saídas foram avaliadas contra o contrato legado usando um oráculo comportamental estrito de tipo. Diferentemente de verificações de igualdade padrão (==), este oráculo impõe igualdade estrita de tipo e valor (por exemplo, distinguindo 2 de 2.0), o que é crucial para detectar a deriva de inteiro para float comum na migração Python 2/3.
• Sonda de Autoavaliação: Após a geração e a avaliação pelo oráculo, o mesmo modelo que produziu o código foi solicitado a julgar se sua saída preservou o comportamento, sem saber que estava avaliando sua própria saída anterior.
• Variações de Prompt: Três formulações distintas de prompt foram testadas para avaliar a sensibilidade ao enquadramento das instruções.

Principais Contribuições

1. Benchmark Reprodutível: Introdução de um benchmark controlado com uma linha de base benigna, um oráculo estrito de tipo e um painel diversificado de 11 LLMs de produção.
2. Quantificação da Deriva Semântica: Evidência de que as armadilhas de preservação semântica derivam significativamente mais do que as sintáticas, com foco específico na semântica numérica.
3. Natureza Estrutural da Tarefa da Falha: Demonstração de que a deriva não é aleatória, mas concentrada em trechos específicos e difíceis que falham em quase todos os modelos e variações de prompt.
4. Análise de Falha de Autoavaliação: A descoberta principal de que a autoavaliação não é uma rede de segurança confiável, caracterizada por uma distribuição bimodal das taxas de falha e pelo comportamento "articulado mas errado", onde os modelos identificam corretamente as regras semânticas, mas declaram incorretamente que o comportamento foi preservado.
5. Insights Metodológicos: Demonstração de que a escolha do oráculo comportamental (igualdade estrita vs. permissiva) e o método de extração de saída alteram materialmente as taxas de deriva medidas.

Principais Resultados

1. Prevalência da Deriva Silenciosa

• Taxa de Deriva Semântica: 39,7% das tentativas de modernização em armadilhas semânticas resultaram em deriva comportamental silenciosa.
• Comparação com a Linha de Base: Isso é significativamente maior do que a taxa de deriva de 7,0% observada no código de controle benigno (que não requer modernização real), representando um aumento de +32,7 pontos percentuais.
• Deriva Sintática: As armadilhas sintáticas apresentaram deriva de 12,7%, apenas ligeiramente acima da linha de base.
• Modo de Falha Dominante: A semântica numérica (especificamente divisão inteira no Python 2 vs. divisão float no Python 3) respondeu por 57% de todos os casos de deriva semântica.

2. Falha Estrutural da Tarefa

• A deriva não é aleatória; os modelos concordam sobre quais trechos são difíceis. A correlação par a par das taxas de deriva por trecho entre os modelos tem uma média de Pearson $r = 0,52$.
• Um pequeno núcleo de trechos de semântica numérica falhou para $\ge 8/11$ modelos, independentemente da formulação do prompt, indicando que a falha é estrutural à tarefa de migração, e não idiossincrática a modelos específicos.

3. Confiabilidade da Autoavaliação

• Endosso Silencioso: Em todos os 262 casos de deriva semântica identificados, o modelo produtor endossou silenciosamente 31,7% (83 casos) como preservadores de comportamento.
• Distribuição Bimodal: As taxas de auto-falha são fortemente bimodais. Cinco modelos perderam 0% de sua própria deriva, enquanto outros perderam até 100%.
• Ortogonalidade à Capacidade: As taxas de auto-falha não correlacionam com a capacidade ou o preço do modelo. Por exemplo, o Modelo M5 teve a maior taxa de deriva (65%), mas uma taxa de auto-falha de 0%, enquanto o Modelo M1 teve deriva moderada (42%), mas uma taxa de auto-falha de 100%.
• Fenômeno "Articulado mas Errado": Vários modelos articularam explicitamente a distinção semântica correta entre Py2/Py3 (por exemplo, explicando que / realiza divisão inteira no Py2 e divisão float no Py3), mas concluíram que o comportamento foi preservado. Isso indica uma falha na aplicação do raciocínio, e não uma falta de conhecimento.

4. Capacidade Não Monotônica

• As taxas de deriva (variando de 5,6% a 46,7%) não acompanham limpidamente o preço ou os níveis de capacidade do modelo. Modelos de menor custo às vezes superaram modelos de fronteira, sugerindo que a escalabilidade sozinha não resolve essa falha estrutural específica.

5. Sensibilidade Metodológica

• Rigor do Oráculo: O uso de comparação == permissiva em vez de igualdade estrita de tipo reduziu a deriva semântica medida de 39,7% para ~26,7%, ocultando o modo de falha mais prevalente (inteiro $\to$ float).
• Extração de Saída: Analisadores ingênuos que usam apenas delimitadores inflaram a taxa de deriva do controle benigno para ~23%, ao interpretar erroneamente a prosa explicativa como código. Um extrator robusto reduziu isso para a verdadeira linha de base de 7,0%.

Significado e Alegações

O artigo conclui que a autoavaliação pelo modelo produtor não é uma rede de segurança utilizável para deriva semântica silenciosa em pipelines de modernização de código. A falha não é meramente uma falta de recuperação (perder erros), mas um endosso silencioso de alta confiança de código quebrado.

Os autores afirmam que:

1. A deriva neste domínio é estrutural à tarefa (impulsionada pelas lacunas semânticas específicas entre Py2/Py3), e não um erro aleatório ou uma função simples da escala do modelo.
2. A seleção de modelos baseada em fornecedor ou tamanho não protege contra esta classe de deriva; um oráculo comportamental explícito é necessário.
3. Escolhas metodológicas relacionadas ao rigor do oráculo e à robustez da extração de código são críticas; trabalhos anteriores que careciam desses controles provavelmente subnotificaram a deriva semântica silenciosa.

O estudo serve como um piso de cautela: a autoavaliação simples é insuficiente para a modernização de código de produção, e a dependência dela sem verificação comportamental externa corre o risco de implantar código que compila, executa, mas se comporta incorretamente.