Less Is More: Measuring How LLM Involvement affects Chatbot Accuracy in Static Analysis

Título: Menos é Mais: Medindo Como o Envolvimento de LLMs Afeta a Precisão de Chatbots em Análise Estática

1. O Problema

As ferramentas de análise estática (como o Joern) operam em um mundo estruturado, utilizando linguagens de consulta formais e específicas de domínio (DSLs), como a CPGQL (uma linguagem baseada em Scala para consultar Grafos de Propriedade de Código - CPG). No entanto, os desenvolvedores interagem com esses sistemas através de linguagem natural.

O desafio central é a tradução de solicitações em linguagem natural para consultas CPGQL precisas. Embora os Grandes Modelos de Linguagem (LLMs) sejam candidatos promissores para essa ponte, eles são aproximações estocásticas que tendem a "alucinar" sintaxe válida, mas semanticamente incorreta, especialmente em DSLs de nicho com pouca representação nos dados de treinamento. A questão de pesquisa é: quanto "latitude" deve ser dada ao LLM? Ou seja, qual é o nível ideal de delegação de tarefas ao modelo para maximizar a precisão sem sacrificar a confiabilidade?

2. Metodologia

O estudo compara três arquiteturas distintas ao longo de um espectro de autonomia do LLM, avaliadas em um benchmark personalizado de 20 tarefas de análise de código (divididas em níveis de complexidade: estrutural, fluxo de dados e composto).

Arquiteturas Testadas:

1. A1 (Geração Direta): O LLM gera diretamente a string de consulta CPGQL, auxiliado por contexto de documentação e exemplos. O espaço de saída é ilimitado e não estruturado.
2. A2 (Intermediário Estruturado): O LLM gera um objeto JSON que deve aderir a um esquema fixo e pré-definido (capturando tipo de consulta, filtros, colunas de saída, etc.). Um mapeador determinístico (código verificado) traduz esse JSON para a consulta CPGQL correta. O LLM nunca vê a sintaxe da consulta.
3. A3 (Agente Aumentado por Ferramentas): O LLM opera em um loop ReAct (Reason-Act), selecionando ferramentas (APIs de análise) e fornecendo argumentos em múltiplos passos para sintetizar uma resposta final.

Configuração Experimental:

• Modelos: Quatro modelos de pesos abertos (Open-weight) em um design 2x2:
  • Famílias: Llama e Qwen.
  • Escalas: Pequena (7–8B parâmetros) e Grande (70–72B parâmetros).
• Tarefas: 20 tarefas de análise de código em projetos Java reais (Apache Commons Lang e OWASP WebGoat).
• Métricas: Taxa de correspondência de resultados (comparação de saída executada), taxa de sucesso na execução, consumo de tokens e número de invocações do LLM.
• Repetições: Cada combinação foi testada 3 vezes, totalizando 720 tentativas (com exclusões devido a falhas de infraestrutura em alguns casos).

3. Contribuições Principais

1. Benchmark Público: Criação e disponibilização de um conjunto de dados de 20 tarefas de tradução de linguagem natural para CPGQL, validado mecanicamente contra o Joern 4.0.
2. Comparação Controlada: Uma avaliação rigorosa de três arquiteturas de LLM, isolando o efeito do grau de delegação (autonomia) enquanto mantém políticas de retry uniformes.
3. Evidência Empírica de Restrição: Demonstração de que restringir a saída do LLM a uma representação intermediária estruturada (JSON) supera tanto a geração direta quanto abordagens agênticas em domínios formalmente estruturados.
4. Interação Modelo-Tamanho: Evidência de que o benefício da abordagem estruturada é mais pronunciado em modelos grandes, enquanto modelos pequenos enfrentam um gargalo na conformidade com o esquema.

4. Resultados Chave

• A2 (Intermediário Estruturado) é Superior:

  • A abordagem A2 alcançou as maiores taxas de correspondência de resultados em todos os modelos.
  • Modelos Grandes (70B+): A2 superou a geração direta (A1) em 15 a 25 pontos percentuais (pp). Por exemplo, Qwen 72B atingiu 58,3% de precisão (A2) contra 43,3% (A1).
  • Modelos Pequenos (7-8B): A melhoria foi modesta (3-5 pp), mas ainda positiva.
  • Taxa de Sucesso: Modelos grandes alcançaram 100% de sucesso na execução em A2 (o JSON sempre era válido), enquanto modelos pequenos falharam na validação do esquema em 35-47% das tentativas.

• A3 (Abordagem Agêntica) é a Pior:

  • A abordagem agêntica (A3) teve o pior desempenho em precisão (15-25% de correspondência) em todos os modelos.
  • Custo Elevado: A3 consumiu aproximadamente 8 vezes mais tokens e levou 6 vezes mais tempo por tarefa em comparação com A2, devido a loops de ferramentas longos e exploração ineficiente.
  • Subconjunto Estrito: As tarefas resolvidas corretamente por A3 foram um subconjunto estrito das resolvidas por A2. A3 não ofereceu nenhuma cobertura complementar que justificasse seu custo.

• Interação com o Tamanho do Modelo:

  • Para modelos grandes, a restrição do esquema funciona perfeitamente, transformando a geração de código em uma tarefa de "classificação" ou preenchimento de campos, evitando a necessidade de raciocínio sintático complexo.
  • Para modelos pequenos, a conformidade com o esquema JSON torna-se o gargalo; eles frequentemente falham em gerar JSON válido, limitando o benefício da arquitetura.

• Correspondência Exata vs. Correspondência de Resultado:

  • A métrica de "correspondência exata" (string por string) subestima a precisão real. O LLM frequentemente gera consultas sintaticamente diferentes, mas semanticamente equivalentes, que produzem os mesmos resultados. A avaliação baseada em execução é crucial para DSLs.

5. Significado e Conclusão

O artigo conclui que, em domínios com estrutura formal (como análise estática), "Menos é Mais".

• Princípio Arquitetônico: A melhor estratégia não é dar ao LLM controle total sobre a geração de código ou permitir loops agênticos complexos. Em vez disso, deve-se restringir a saída do LLM a uma representação intermediária bem tipada (JSON) e delegar a construção da consulta final para código determinístico.
• Por que funciona: Isso contorna a incapacidade dos LLMs de codificar relações "cross-category" (entre tokens sintáticos e identificadores), um problema identificado em estudos anteriores sobre LLMs de código. O LLM foca na compreensão da intenção e no preenchimento de campos, enquanto o código determinístico garante a sintaxe correta.
• Implicações: Abordagens agênticas, embora populares, podem ser contraproducentes em tarefas de alta precisão com espaços de ação bem definidos, introduzindo erros cumulativos e custos computacionais desnecessários sem ganhos de cobertura.

Este trabalho sugere que o futuro de ferramentas de análise assistidas por IA deve focar na decomposição de tarefas: o LLM entende a linguagem natural e mapeia para um esquema, e sistemas determinísticos executam a lógica complexa de tradução e execução.