LLM-Enabled Open-Source Systems in the Wild: An Empirical Study of Vulnerabilities in GitHub Security Advisories

1. O Problema

A integração de Modelos de Linguagem Grandes (LLMs) em ecossistemas de software de código aberto (OSS) cria interações complexas entre prompts de linguagem natural, saídas probabilísticas e componentes executáveis. Embora os frameworks tradicionais de divulgação de vulnerabilidades (como o GitHub Security Advisories - GHSA) sejam eficazes para identificar falhas de implementação (código), há uma lacuna crítica: não está claro se esses frameworks capturam adequadamente os riscos mediados por modelos.

Os metadados atuais do GHSA utilizam a Common Weakness Enumeration (CWE) para classificar defeitos de código (ex: injeção, desserialização), mas não indicam se uma vulnerabilidade é ativada, amplificada ou propagada através do raciocínio do modelo, manipulação de prompts ou autonomia de agentes. Isso resulta em uma representação incompleta da superfície de ataque em sistemas integrados com LLMs, onde o risco arquitetural (como "Excesso de Agência" ou "Injeção de Prompt") pode ser tão crítico quanto o defeito de código subjacente.

2. Metodologia

Os autores conduziram um estudo empírico utilizando uma abordagem mista de mineração de dados e anotação manual:

• Coleta de Dados: Foram coletados 295 avisos de segurança do GitHub (GHSA) publicados entre janeiro de 2025 e janeiro de 2026 que faziam referência explícita a componentes relacionados a LLMs.
• Filtragem e Categorização:
  • Os 295 avisos foram filtrados para identificar pacotes afetados.
  • Os 133 pacotes únicos foram classificados manualmente em três grupos:
    1. Associados a LLM: Pacotes que implementam ou orquestram funcionalidade de LLM (ex: motores de inferência, frameworks de agentes).
    2. Possivelmente Associados a LLM: Infraestrutura de suporte comum em pipelines de LLM, mas não exclusiva (ex: bancos de dados vetoriais).
    3. Não Associados a LLM: Pacotes com funcionalidade geral não relacionada a LLMs.
• Anotação Manual: Uma amostra aleatória de 100 avisos (dos grupos 1 e 2) foi anotada manualmente por dois pesquisadores utilizando a taxonomia OWASP Top 10 for LLM Applications 2025.
• Análise: O estudo mapeou as vulnerabilidades para duas perspectivas:
  1. CWE: Para identificar classes de fraqueza de implementação.
  2. OWASP LLM: Para identificar padrões de risco arquitetural e de interação.
• Confiabilidade: A concordância entre os anotadores foi alta (Kappa de Cohen = 0,76; AC1 de Gwet = 0,95).

3. Contribuições Principais

O estudo oferece três contribuições fundamentais:

1. Caracterização Empírica: Uma análise detalhada dos padrões de CWE em avisos de segurança do GitHub relacionados a LLMs, baseada em 295 divulgações recentes.
2. Mapeamento Sistemático: Uma correlação estruturada entre as classes de fraqueza de implementação (CWE) e os riscos arquiteturais específicos de LLM (OWASP Top 10 2025), baseada na anotação manual de 100 casos.
3. Evidência de Lacuna Metadados: A demonstração de que os metadados atuais dos avisos de segurança carecem de indicadores explícitos de envolvimento de LLM, limitando a análise sistemática da exposição mediada por modelos.

4. Resultados Chave

RQ1: Padrões de CWE

• Não há novas classes de fraqueza: Não foram encontradas fraquezas de implementação específicas apenas para LLMs.
• Dominância de Falhas Clássicas: As vulnerabilidades mapeiam-se para CWEs estabelecidos, principalmente:
  • Injeção: CWE-94 (Injeção de Código), CWE-77/78 (Injeção de Comando).
  • Desserialização: CWE-502 (Desserialização de Dados Não Confiáveis).
  • Gestão de Recursos: CWE-770 e CWE-400 (Consumo de Recursos Descontrolado).
• Isso indica que os ecossistemas de LLM herdam as mesmas fraquezas de software tradicional.

RQ2: Eficácia dos Metadados Atuais

• Os metadados do GHSA (ecosistema, severidade, pacotes afetados) não distinguem bibliotecas convencionais de pacotes que implementam inferência de modelos ou pipelines de agentes.
• A identificação do envolvimento de LLM exige classificação manual baseada em documentação e contexto, pois não há campos estruturados para isso.

RQ3: Padrões de Exposição (OWASP)

Ao aplicar a taxonomia OWASP Top 10 para LLMs, emergiram padrões de risco arquitetural distintos:

• Cadeia de Suprimentos (Supply Chain - LLM03): O risco mais frequente (44% dos avisos), indicando que a exposição ocorre frequentemente em dependências, plugins e camadas de orquestração, não apenas no núcleo do modelo.
• Excesso de Agência (Excessive Agency - LLM06): 20% dos casos, onde componentes mediadores por LLM podem acionar caminhos de execução ou invocar ações privilegiadas indevidamente.
• Injeção de Prompt (Prompt Injection - LLM01): 18% dos casos, frequentemente servindo como condição inicial para impactos a jusante.
• Padrões Multietapa: 37% dos avisos apresentaram múltiplas etiquetas (ex: Supply Chain + Excessive Agency + Prompt Injection), revelando cadeias de exploração onde a manipulação de prompts leva a falhas de tratamento de saída e, finalmente, à execução de comandos.

RQ4: Correlação OWASP-CWE

• Os riscos arquiteturais de LLM materializam-se através de fraquezas de implementação convencionais.
• Exemplo: O risco de "Excesso de Agência" (OWASP) correlaciona-se fortemente com injeção de comando (CWE-77/78) e execução de código inseguro (CWE-94).
• A "Cadeia de Suprimentos" (OWASP) abrange uma diversidade ampla de CWEs, enquanto "Injeção de Prompt" concentra-se em falhas de injeção e XSS.

5. Significância e Implicações

• Complementaridade de Perspectivas: O estudo conclui que nem o CWE nem o OWASP são suficientes isoladamente. O CWE explica como o código falha (defeito de implementação), enquanto o OWASP captura como o sistema mediado por modelo fica exposto (padrão de interação arquitetural).
• Necessidade de Novos Metadados: Os sistemas de divulgação de segurança precisam evoluir para incluir indicadores estruturados de envolvimento de IA/LLM, permitindo que desenvolvedores e pesquisadores entendam não apenas a falha no código, mas o caminho de exploração mediado pelo modelo.
• Foco na Arquitetura: A segurança em sistemas de LLM não deve focar apenas no modelo em si, mas nas cadeias de interação entre prompts, processamento de saída e execução de ferramentas (agentes), onde os riscos de "Excesso de Agência" e "Cadeia de Suprimentos" predominam.

Em resumo, o artigo demonstra que, embora as vulnerabilidades de código em sistemas com LLM sejam tradicionais, a arquitetura de interação cria novos vetores de ataque complexos que os sistemas atuais de relatórios de segurança não conseguem capturar totalmente.