Resumo Técnico: CodeHacker

Declaração do Problema

A avaliação de Grandes Modelos de Linguagem (LLMs) para geração de código depende fortemente da qualidade e robustez dos casos de teste. Os benchmarks existentes frequentemente sofrem com a insuficiência de cobertura de casos de borda sutis, permitindo que soluções incorretas passem (Falsos Positivos). As abordagens automatizadas atuais funcionam majoritariamente como "Fuzzers de Caixa Preta", baseando-se em exploração probabilística de entradas ou mutações heurísticas. Esses métodos frequentemente falham em visar vulnerabilidades lógicas específicas de uma implementação concreta, priorizando a cobertura estatística em vez de uma compreensão semântica profunda. Consequentemente, os resultados da avaliação podem depender de se os casos de teste cobriram acidentalmente casos de falha ou se o modelo realmente compreende a semântica do problema e as estruturas de restrição.

Metodologia

Os autores propõem o CodeHacker, um framework de agente automatizado projetado para gerar casos de teste adversários direcionados que exponham vulnerabilidades latentes em submissões de programas. Mimicando o mecanismo de "hack" em programação competitiva, o framework trata programas individuais como objetos de primeira classe e busca sistematicamente contraexemplos que induzam à falha.

O framework opera em duas fases primárias:

Fase I: Calibração da Ferramenta de Avaliação

Antes de tentar hackear as submissões dos competidores, o CodeHacker garante a confiabilidade de sua "munição" (casos de teste) e seu "julgamento" (verificadores/validadores) por meio de um processo de refinamento iterativo:

• Refinamento do Validador: O agente ataca o validador de entrada para identificar fraquezas. Ele realiza Ataques de Bypass (gerando entradas inválidas que o validador aceita incorretamente) e Ataques de Rejeição (gerando casos de borda válidos que o validador rejeita incorretamente). O validador é corrigido até que se alinhe estritamente com as definições do problema.
• Refinamento do Verificador: O agente sonda a vulnerabilidade do verificador de saída. Ele constrói Ataques de Decepção (saídas incorretas que mimetizam respostas válidas) e Ataques de Rejeição (saídas alternativas válidas que um verificador rígido rejeita).
• Pipeline Anti-Alucinação: Para garantir a integridade da atualização do verificador, um pipeline de verificação de três etapas é empregado: restrição de entradas a casos de borda triviais, exigência de raciocínio explícito de Cadeia de Pensamento (Chain-of-Thought) do gerador LLM e verificação cruzada de resultados com um LLM-como-Juiz independente.
• Intervenção de Especialista: Para lógicas de verificação complexas (ex: provar caminhos Hamiltonianos em grafos) que excedem as capacidades típicas de LLMs, especialistas humanos intervêm para corrigir manualmente as ferramentas. Isso ocorre em menos de 5% dos casos, principalmente para problemas de alta dificuldade.

Fase II: Geração de Casos Adversários

Armado com ferramentas calibradas, o agente gera entradas adversárias usando um Analista de Código e três estratégias de geração complementares:

1. Analista de Código: Atua como um estrategista usando uma Interface de Execução Dupla. Ele combina Sondagem Comportamental (executando o binário alvo em um sandbox C++ para verificar hipóteses sobre crashes ou saídas incorretas) e Cálculo Preciso (usando um interpretador Python para verificar complexidade, condições de borda e propriedades matemáticas como overflows de inteiros).
2. Gerador de Teste de Estresse: Explora sistematicamente os limites do espaço de entrada (ex: $N$ máximo, grafos totalmente conectados) para expor Erros de Execução (RE), Tempo Limite Excedido (TLE) e Limite de Memória Excedido (MLE).
3. Gerador Baseado em LLM: Guiado pelo Analista de Código, este módulo elabora casos de teste semânticos direcionados para disparar modos de falha específicos (Resposta Incorreta, RE, TLE, MLE) baseados em vulnerabilidades lógicas identificadas.
4. Gerador Anti-Hash: Alveja submissões que utilizam hashes de rolagem polinomial. Para parâmetros fixos, formula a busca de colisão como um Problema do Vetor Mais Curto (SVP) e aplica redução de rede (algoritmo LLL). Para módulos menores ou hashes não lineares, emprega uma estratégia de Ataque de Aniversário (Birthday Attack).

Principais Contribuições

1. Formalização do Hacking: Os autores formalizam o "hacking" como uma tarefa de geração de teste adversário e projetam um agente impulsionado por LLM que busca ativamente casos de borda de alto valor e contraexemplos lógicos, indo além dos métodos tradicionais baseados em mutação.
2. Melhoria das Métricas de Avaliação: Ao implantar o framework em conjuntos de dados de código existentes, demonstra-se melhorias substanciais tanto na Taxa de Verdadeiro Negativo (TNR) quanto na Taxa de Verdadeiro Positivo (TPR), indicando que os casos adversários gerados fortalecem significativamente a robustez da avaliação.
3. CodeHackerBench: Os autores introduzem um novo cenário de avaliação, o CodeHackerBench, construído através da mineração de discrepâncias de julgamento no dataset CodeContest+. Este benchmark é projetado para caracterizar melhor a habilidade dos modelos de raciocinar sobre códigos incorretos e cenários de falha extrema.

Resultados

Experimentos conduzidos em 2.000 problemas do dataset CodeContest+ e avaliações no LiveCodeBench yielded os seguintes achados:

• Rigor de Avaliação: O CodeHacker melhora significativamente a TNR de datasets existentes. Para problemas de Juiz Especial (Special Judge), a TNR aumentou de 82,18% (baseline) para 96,05% após a adição de casos de hack adversários. Isso corrige a "inflação de métricas" onde soluções falhas passavam anteriormente devido à cobertura de teste fraca.
• Capacidade de Raciocínio: A Taxa de Sucesso de Hack (HSR) serve como um diferenciador forte para modelos de raciocínio avançado. Por exemplo, o DeepSeek V3.2 alcançou uma HSR de 64,83%, enquanto seu desempenho caiu para 23,76% quando o raciocínio explícito foi desativado, confirmando que gerar hacks válidos é uma tarefa de raciocínio que requer a derivação construtiva de algoritmos.
• Eficiência de Treinamento de RL: Modelos treinados no dataset CodeContests++ aumentado (contendo casos adversários) mostraram melhorias consistentes de desempenho no benchmark out-of-distribution LiveCodeBench em comparação com modelos treinados em dados padrão. Isso sugere que entradas adversárias servem como sinais de recompensa densos, fomentando o raciocínio algorítmico genuíno em vez de apenas reconhecimento de padrões.
• Inversão de Ranking: A avaliação adversária rigorosa revelou inversões de ranking; por exemplo, o GPT-5-Mini mostrou-se mais robusto que o Gemini-3.0-Flash quando avaliado contra os benchmarks refinados, uma distinção não visível nos testes originais.

Significância e Alegações

O artigo afirma que o CodeHacker estabelece a geração adversária como um aspecto crítico para avaliar a inteligência algorítmica geral. Os autores argumentam que a capacidade de gerar hacks válidos reflete a compreensão profunda de um modelo sobre o comportamento de programas e fornece um sinal mais discriminativo para avaliar capacidades avançadas de raciocínio de programação do que a correção funcional isolada.

Além da avaliação acadêmica, os autores vislumbram o CodeHacker como um componente vital da próxima geração de infraestrutura de programação competitiva, auxiliando criadores de problemas na garantia de qualidade e competidores em treinamento personalizado. Eles afirmam ainda que o princípio central — o aumento sistemático de testes de regressão para sondar condições de borda não testadas — é conceitualmente transferível para benchmarks de resolução de problemas do mundo real (ex: SWE-bench) e avaliações de nível de repositório mais amplas para melhorar o rigor da avaliação em tarefas de engenharia de software.

O trabalho adere a princípios éticos estritos, proibindo a raspagem de dados não autorizada e exigindo que todas as avaliações adversárias sejam conduzidas em ambientes locais e isolados (sandboxed) para evitar riscos de Negação de Serviço (DoS) em Juízes Online públicos.