Resumo Técnico: Estratégias de Reescrita para Recuperação de Código

Declaração do Problema

Sistemas de recuperação de código baseados em incorporação frequentemente sofrem de uma compreensão superficial do comportamento do programa, muitas vezes superajustando-se a pistas sintáticas de superfície em vez do significado semântico. Isso leva a fragmentos de código semanticamente distintos serem mapeados para representações vetoriais semelhantes. Embora trabalhos anteriores tenham tentado mitigar isso usando Modelos de Linguagem de Grande Escala (LLMs) para reescrever consultas e corpora em um estilo normalizado, duas questões críticas permanecem sem resolução:

1. Mudança Representacional: Quanto a mudança no nível de representação (por exemplo, de código para linguagem natural ou pseudocódigo) realmente melhora a recuperação?
2. Justificativa Custo-Benefício: Quando o custo computacional de uma chamada online de LLM por consulta é justificado, e a reescrita pode ser realizada offline?

Métodos existentes operam tipicamente em um único nível de representação (código) e frequentemente tratam representações intermediárias (como pseudocódigo) como pontes transitórias em vez de alvos finais de recuperação. Além disso, geralmente carecem de diagnósticos para prever quando a reescrita será benéfica.

Metodologia

Os autores realizam um estudo sistemático avaliando uma hierarquia de três estratégias de reescrita sob dois regimes de augmentação:

1. Estratégias de Reescrita:
   • Reformulação Estilística: Normalização da sintaxe e estilo do código (seguindo Li et al., 2024).
   • Pseudocódigo Enriquecido com NL: Conversão de código em pseudocódigo estruturado com comentários em linguagem natural, usado diretamente como representação de recuperação.
   • Transcrição Completa em Linguagem Natural (NL): Conversão completa de fragmentos de código em descrições em linguagem natural, usadas diretamente como representação de recuperação.
2. Regimes de Augmentação:
   • Consulta–Corpus Conjunta (QC, Online): Tanto a consulta quanto o corpus são reescritos pelo LLM antes da incorporação.
   • Apenas Corpus (C, Offline): Apenas o corpus é reescrito; as consultas permanecem em sua forma original.
3. Configuração Experimental:
   • Benchmarks: Seis conjuntos de dados da suíte CoIR (cobrindo modalidades código-para-código, texto-para-código e híbridas).
   • Codificadores: Cinco codificadores variando de propósito geral a especializados em código (por exemplo, MoSE-18, CodeXEmbed, E5-Base-V2).
   • Reescritores: Três famílias independentes de modelos (Qwen3-Coder, DeepSeek-Coder-V2, Codestral) para garantir robustez contra artefatos específicos do reescritor.
4. Diagnósticos: O artigo introduz duas métricas para analisar o efeito da reescrita:
   • $\Delta H$ (Entropia de Tokens): A mudança na entropia de Shannon dos tokens de entrada, medindo a diversidade lexical.
   • $\Delta \bar{s}$ (Cosseno de Incorporação): A mudança na similaridade cosseno média entre pares de incorporações, medindo a isotropia da representação (dispersão discriminativa).

Principais Contribuições

1. Novas Representações de Recuperação: Os autores são os primeiros a avaliar Pseudocódigo Enriquecido com NL e Linguagem Natural ao nível de fragmento como alvos de recuperação diretos, em vez de intermediários transitórios.
2. Comparação Sistemática: Uma avaliação controlada através de três níveis de reescrita, dois regimes de augmentação, múltiplos codificadores e três famílias de reescritores.
3. Framework Diagnóstico: A introdução de $\Delta H$ e $\Delta \bar{s}$ como diagnósticos ao nível de representação. Crucialmente, o artigo demonstra que $\Delta H$ serve como um preditor agnóstico ao reescritor para ganhos de recuperação sob o regime QC.
4. Framework Custo-Benefício: O estudo reenquadra a reescrita por LLM não como uma solução universal, mas como uma camada de remediação com condições específicas para eficácia.

Resultados

• Eficácia de NL+QC: A reescrita completa em Linguagem Natural com augmentação conjunta de consulta-corpus (NL+QC) produz os maiores ganhos de desempenho. No benchmark CT-Contest (código-para-código), melhorou o NDCG@10 do MoSE-18 de 0,23 para 0,74 (+0,51 absoluto). Permanece a melhor ou empatada como melhor estratégia para todos os três reescritores em tarefas pesadas em código.
• Ineficácia de Apenas Corpus (C): A reescrita apenas do corpus degrada o desempenho de recuperação em aproximadamente 62% das configurações (56 de 90). Isso é atribuído a uma incompatibilidade de modalidade entre o corpus reescrito e as consultas originais. QC supera C em 78 de 90 comparações pareadas.
• Dependência do Codificador: Os ganhos escalam inversamente com a capacidade do codificador. Codificadores leves (por exemplo, MoSE-18) beneficiam-se significativamente da reescrita, enquanto codificadores fortes (por exemplo, Qwen3-Emb) frequentemente veem retornos planos ou negativos, sugerindo que a reescrita é mais valiosa como remediação para modelos mais fracos.
• Modalidade da Consulta: A hierarquia de abstração (Reformulação < Pseudocódigo < NL) mantém-se para tarefas código-para-código, mas desmorona para tarefas texto-para-código. Quando as consultas já estão em linguagem natural, reescrever o corpus para NL apaga sinais sintáticos residuais sem criar novo alinhamento, frequentemente prejudicando o desempenho.
• Poder Preditivo de $\Delta H$: Sob o regime QC, a mudança na entropia de tokens ($\Delta H$) é um preditor significativo de ganho de recuperação.
  • Para Codestral: $\rho = +0,593$ ($p < 0,001$).
  • Para DeepSeek: $\rho = +0,274$.
  • Agrupado (não-Qwen): $\rho = +0,436$ ($p < 0,001$).
  • Essa correlação mantém-se através de diferentes famílias de reescritores, estabelecendo $\Delta H$ como um proxy barato e agnóstico ao reescritor para decidir se a reescrita valerá a pena antes de executar a recuperação.

Significado e Alegações

O artigo afirma reenquadrar a reescrita por LLM para recuperação de código como uma decisão custo-benefício em vez de uma etapa padrão de pré-processamento. Os autores concluem que:

• A reescrita é mais eficaz como uma camada de remediação para codificadores leves lidando com consultas dominadas por código.
• Oferece rendimentos decrescentes para codificadores fortes ou consultas que já são ricas em linguagem natural.
• A métrica $\Delta H$ fornece um mecanismo prático e de baixo custo para praticantes preverem se um par específico de consulta/corpus se beneficiará da reescrita, permitindo-lhes evitar chamadas desnecessárias de LLM quando o diagnóstico indica baixo potencial de ganho.

Os autores afirmam explicitamente que suas descobertas são modestas em relação a modelos de código fechado e idiomas de baixo recurso, notando estes como limitações. Eles enfatizam que, embora a reescrita melhore a recuperação, ela herda os vieses e riscos de alucinação do reescritor, recomendando auditoria humana e ponteiros de fonte para implantação.