KISS Sorcar: A Stupidly-Simple General-Purpose and Software Engineering AI Assistant

1. Declaração do Problema

Apesar da fluência dos Modelos de Linguagem de Grande Escala (LLMs) na geração de código e na chamada de ferramentas, implantá-los como assistentes práticos e autônomos de engenharia de software enfrenta vários desafios persistentes:

• Limitações de Contexto: Janelas de contexto finitas fazem com que agentes percam o rumo em tarefas de longo horizonte.
• Fragilidade: Um único erro pode desviar toda uma sessão, e os agentes frequentemente ficam presos em becos sem saída.
• Problemas de Qualidade: Os modelos frequentemente geram "lixo de IA" (código de baixa qualidade, sutilmente incorreto) e falham em validar sua própria saída.
• Revisibilidade: Alterações geradas são frequentemente difíceis de revisar ou reverter uma vez aplicadas a uma base de código em produção.
• Falta de Persistência: Os agentes geralmente carecem de mecanismos para recuperação de histórico de múltiplas interações ou aprendizado entre sessões.

2. Metodologia: O Framework de Agente KISS

Os autores propõem o KISS Sorcar, um assistente de propósito geral e IDE construído sobre o Framework de Agente KISS. A filosofia central é "Mantenha Simples, Estúpido" (KISS), resultando em um framework de aproximadamente 1.850 linhas de código Python.

O sistema emprega uma hierarquia de agente de cinco camadas, onde cada camada adiciona exatamente uma preocupação específica via herança estrita:

1. Agente KISS (Camada Base): Implementa um loop ReAct padrão com chamada de função nativa. Lida com geração de esquema de ferramentas, rastreamento de tokens/orçamento e resiliência a erros (repetindo erros transitórios). É stateless entre execuções para garantir segurança.
2. Agente Relentless (Sem Trégua): Resolve a limitação da janela de contexto. Quando uma sub-sessão esgota seu orçamento ou contexto, gera um resumo estruturado e cronológico de ações e trechos de código. Uma nova sub-sessão retoma a partir desse resumo, garantindo continuidade sem compactação de contexto.
3. Agente Sorcar: Adiciona ferramentas práticas para desenvolvimento de software:
   • Ferramentas de Codificação: Execução de shell (com streaming), leitura/escrita de arquivos e edição precisa baseada em strings.
   • Automação de Navegador: Controle programático (Playwright) para pesquisa e verificação.
   • Sub-agentes Paralelos: Execução opcional em pool de threads para tarefas independentes.
   • Isolamento Docker: Executa tarefas não confiáveis em contêineres.
4. Agente Chat Sorcar: Adiciona persistência de conversação de múltiplas interações. Atribui tarefas a IDs de chat estáveis, persistindo o histórico em um banco de dados local para que o LLM possa referenciar trabalhos anteriores dentro de uma sessão.
5. Agente Worktree Sorcar (Camada Superior): Fornece isolamento de worktree Git. Cada tarefa roda em um branch e diretório de worktree dedicados. Isso garante que a árvore de trabalho principal do usuário permaneça intocada até que o usuário escolha explicitamente mesclar as alterações. Lida com preservação de estado sujo e recuperação de falhas via metadados do Git.

3. Contribuições Principais

A. O Prompt do Sistema (Disciplina de Engenharia)

Os autores priorizam qualidade de saída sobre latência. Eles elaboraram um prompt do sistema rigoroso que codifica as melhores práticas de engenharia de software diretamente no comportamento do agente:

• Verificações Pré-voo: Exige leitura de arquivos antes de editar e escrita de testes antes de corrigir bugs.
• Estilo de Código: Impõe simplicidade, indireção mínima e nenhuma abstração redundante.
• Regras de Trabalho Profundo: Exige leitura de arquivos-alvo para determinar estados exatos antes de "alinhar" ou "corresponder" código, prevenindo edições baseadas em alucinações.
• Protocolo de Testes: Exige cobertura de 100% de branches, testes de integração (sem mocks) e execução apenas de testes impactados.
• Loop de Autoaperfeiçoamento: O agente lê e atualiza um arquivo USER_PREFS.md no início e no fim das tarefas, acumulando invariantes específicos do projeto e resolvendo conflitos automaticamente.
• Verificação: Uma lista de verificação "Pré-Finalização" força o agente a reler arquivos modificados, executar linters/verificadores de tipo e verificar requisitos antes de declarar sucesso.

B. Auto-hospedagem e Testes de Estresse

Todo o sistema (framework, camadas de agente, extensão do VS Code e prompts) foi construído pelo próprio KISS Sorcar operando em seu próprio repositório. Isso cria um teste de estresse contínuo: qualquer bug introduzido pelo agente prejudica imediatamente sua capacidade de trabalhar, forçando uma auto-correção imediata.

C. Integração com VS Code

O KISS Sorcar é lançado como uma extensão gratuita e de código aberto para o VS Code, apresentando:

• Responsabilidade Orçamentária em Tempo Real: Exibe uso de tokens e custo em dólares por etapa.
• Navegador Integrado: Visualização ao vivo do agente interagindo com aplicativos web.
• Aprendizado entre Sessões: Acumulação automática de preferências do usuário sem arquivos de configuração manuais.

4. Resultados: Avaliação Terminal Bench 2.0

O sistema foi avaliado no Terminal Bench 2.0, um benchmark de 89 tarefas diversas de programação baseadas em terminal (compiladores, configuração de servidor, treinamento de ML, etc.).

• Modelo: Claude Opus 4.6.
• Desempenho:
  • Taxa de Aprovação Geral: 62,2% (277/445 tentativas).
  • Pass@Any (pelo menos 1 sucesso em 5 tentativas): 78,7%.
• Comparações:
  • Superou o Claude Code (58%) e o Cursor Composer 2 (61,7%) no mesmo benchmark usando o mesmo modelo subjacente.
• Análise de Falhas:
  • Sucessos: Desempenho forte em criptanálise, operações git, configuração de servidor e verificação formal.
  • Falhas: Principalmente em tarefas que exigem capacidades de GUI/multimídia, builds extremamente longos que excedem os limites de contêineres, ou conhecimento específico de nicho (ex.: montagem de DNA).
• Integridade: Os autores observam explicitamente que seus resultados são "livres de trapaça", contrastando com outros benchmarks onde as melhores submissões frequentemente vazam código de verificador ou codificam respostas.

5. Significado e Conclusão

• Qualidade sobre Velocidade: O artigo argumenta que dar aos modelos de ponta tempo adequado para validar a saída (linting, testes, auto-correção) produz resultados significativamente melhores do que agentes mais rápidos e menos minuciosos.
• Simplicidade como Recurso: O framework de 1.850 linhas demonstra que comportamentos complexos de agentes (continuação, isolamento, autoaperfeiçoamento) não requerem arquiteturas massivas e opacas.
• A "Era de Ouro dos Especialistas": Os autores concluem que a combinação de orientação humana especializada e modelos de ponta poderosos (como o Opus 4.6) permite a criação de ferramentas de software altamente eficazes e personalizadas. Eles sugerem que o futuro da engenharia de software reside em indivíduos personalizando seus próprios assistentes de IA em vez de depender de produtos de fornecedores monolíticos.
• Perspectiva Futura: O artigo postula que a pesquisa acadêmica atual pode se tornar obsoleta à medida que os modelos se tornam capazes de realizar tarefas de pesquisa complexas melhor com as instruções certas, deslocando o gargalo da capacidade do modelo para a expertise humana em engenharia de prompts e design de sistemas.

Nota: O artigo também inclui um aviso sobre as implicações na saúde mental da eficiência da IA (tédio) e fornece um prompt para pesquisadores usarem o KISS Sorcar para auditar outros artigos quanto a fraudes, irreprodutibilidade e vulnerabilidades de segurança.