MimeLens: Position-Agnostic Content-Type Detection for Binary Fragments

Resumo Técnico: MimeLens

Definição do Problema

A classificação de tipos de arquivos é uma operação fundamental em domínios que variam desde a triagem de malware e recuperação forense (forensic carving) até a inspeção de pacotes e indexação de armazenamento. As soluções atuais de estado da arte, como o libmagic (baseado em regras) e o Magika (aprendido), operam sob uma restrição crítica: elas exigem acesso ao início de um arquivo completo em um deslocamento (offset) conhecido.

• libmagic baseia-se em regras de padrões de bytes engenheiradas manualmente, ancoradas a deslocamentos fixos de arquivos.
• Magika amostra três janelas fixas (início, meio e fim) de um arquivo completo.

Esses sistemas falham quando confrontados com os inputs comuns em fluxos de trabalho do mundo real, tais como:

• Payloads de pacotes únicos (ex: de um fluxo UDP).
• Fragmentos sem cabeçalho recuperados durante recuperação forense.
• Blocos de disco aleatórios lidos em deslocamentos desconhecidos.
• Uploads em partes (chunks) onde o arquivo completo ainda não está disponível.
• Partes ofuscadas dentro de artefatos de malware.

Modelos aprendidos e ferramentas baseadas em regras existentes não conseguem classificar esses inputs "arbitrários de posição" de forma eficaz porque carecem do contexto do limite do arquivo ou das regiões de cabeçalho específicas que foram treinadas para reconhecer.

Metodologia

O artigo apresenta o MimeLens, uma família de codificadores pequenos, estilo BERT, projetados para classificar tipos de conteúdo de arquivos a partir de fragmentos de bytes extraídos de qualquer deslocamento dentro de um arquivo.

Princípios de Design Central:

1. Pré-treinamento Independente de Posição: Ao contrário do Magika, que amostra regiões específicas de arquivos, o MimeLens é pré-treinado em fragmentos amostrados de um deslocamento uniformemente aleatório dentro de cada arquivo. O modelo é expposto a regiões de magic-bytes, payloads incorporados, fluxos de meio de arquivo, arquivamentos e fatias arbitrárias de dados com igual probabilidade. Não há uma posição privilegiada de "início de arquivo".
2. Arquitetura: Os modelos utilizam uma arquitetura de transformer com pré-normalização, RMSNorm, rotary position embeddings (RoPE) e camadas feed-forward GeGLU.
   • Backbone: Um backbone compartilhado de 37,76 milhões de parâmetros (12 camadas, tamanho oculto 512, 8 cabeças).
   • Pooling: Mean-pooling sobre os tokens do corpo (excluindo CLS/SEP/pad) para gerar um embedding de comprimento fixo.
   • Classificação: Uma sonda linear (regressão logística) mapeia o embedding para um dos 125 rótulos MIME do libmagic.
3. Pipelines de Input (O "Cubo"): Os autores treinaram uma grade fatorial de modelos variando em tamanho, tokenizador e comprimento de contexto. Três "células" principais são destacadas para implantação:
   • MimeLens-medium/bpe-16k: Otimizado para cabeçalhos de arquivos limpos e completos. Utiliza um vocabulário BPE de 16k.
   • MimeLens-medium/byte: Otimizado para dados parciais ou em streaming. Utiliza tokenização de bytes brutos (mapa de identidade), atuando efetivamente como um classificador de 1.022 bytes.
   • MimeLens-medium/bpe-64k: Otimizado para indexação de blocos de disco forenses e limitada por throughput. Utiliza um vocabulário BPE de 64k para empacotar mais bytes por token.

Dados de Treinamento:
Os modelos foram pré-treinados usando Masked Language Modeling (MLM) em um corpus binário de múltiplas fontes de 33 GB. A receita de treinamento garante computação correspondente entre as células, variando apenas o vocabulário do tokenizador e a semente aleatória.

Resultados Principais

1. Calibração em Inputs Limpos (Arquivos Completos)
Avaliado em uma divisão de teste do corpus magic-files (4.096 arquivos, 1.024 amostras de teste):

• MimeLens-medium/bpe-16k supera o Magika v1.1 em dados rotulados pelo libmagic em todos os níveis de rigor:
  • Top-1 Alinhado: 0,829 (MimeLens) vs. 0,722 (Magika) → +10,7 pontos percentuais (pp).
  • Top-1 Estrito: 0,828 vs. 0,653 (+17,5 pp).
  • Nível Superior (Top-Level): 0,927 vs. 0,840 (+8,7 pp).
• Nuance por Classe: O ganho agregado não é uniforme. O MimeLens domina classes de código-fonte e texto estruturado (ex: text/x-c, application/vnd.ms-excel) por 25–90 pp. Por outro lado, o Magika domina classes de mídia, imagem e linguagens de script (ex: image/gif, text/x-perl) por 70–85 pp.

2. Estudo de Aplicação: Classificação de Pacotes de Rede
Em um cenário simulado de fluxo UDP (500 arquivos, 498 fluxos capturados), a classificação foi tentada usando apenas o primeiro pacote (1,4 KB):

• MimeLens-byte alcançou 0,855 de precisão Top-1 a partir de um único pacote de 1,4 KB.
• O Magika caiu para 0,588, e o libmagic para 0,739.
• O tokenizador de bytes permite que o modelo sature seu input imediatamente, tornando-o eficaz para classificação de prefixo inicial.

3. Estudo de Aplicação: Classificação de Blocos de Disco Forense
Em um cenário simulando leituras aleatórias de 4 KB de uma imagem de disco não montada (980 blocos de meio de arquivo):

• MimeLens-medium/bpe-64k alcançou 0,266 de precisão Top-1.
• Isso é mais do que o dobro do desempenho do libmagic (0,093) e do Magika (0,112).
• Interpretação: Embora a precisão absoluta seja baixa (devido à opacidade informacional de blocos comprimidos/criptografados de meio de arquivo), o MimeLens supera significativamente os baselines. O artigo sugere uma implantação de três estágios: detectar blocos "opacos" (alta entropia) e abster-se, então classificar apenas blocos confiáveis.

Limitações e Escopo

Os autores delimitam explicitamente suas afirmações:

• Verdade Fundamental (Ground Truth): Todas as avaliações usam rótulos derivados do libmagic. Os resultados demonstram que o MimeLens é um classificador do tipo libmagic melhor que o Magika neste corpus específico, não que ele esteja mais próximo de uma "verdade objetiva" de tipo de arquivo (ex: PRONOM ou adjudicação humana).
• Latência: O MimeLens é 1 a -2 ordens de magnitude mais lento que o Magika na CPU (aprox. 202 ms vs. 1,3 ms por amostra). Ele iguala a velocidade do Magika apenas em GPUs de consumo ou em processamento em lote (batch processing).
• Escopo dos Estudos de Aplicação: O estudo de rede usou loopback, UDP em texto claro. O estudo de disco usou uma distribuição de "estresse forense" que sobre-representa formatos comprimidos/criptografados. Segmentação de rede TCP, perda de pacotes, reordenação e transporte criptografado não foram testados.
• Sonda vs. Fine-tuning: Os números relatados usam um codificador congelado com uma sonda de regressão logística. O fine-tuning de ponta a ponta é recomendado para produção, mas não foi realizado neste estudo.

Significância e Contribuição

A principal contribuição do artigo é a demonstração de que o pré-treinamento independente de posição permite que um único modelo lide com diversos regimes de input fragmentados que quebram os classificadores tradicionais de arquivos completos.

• Versatilidade: Um único checkpoint pode classificar o início de um arquivo limpo, um pacote de meio de fluxo ou um bloco de disco aleatório.
• Granularidade: Opera na taxonomia detalhada de 125 classes do libmagic, ao contrário de muitos classificadores de fragmentos forenses que usam taxonomias grosseiras de 10–30 classes.
• Orientação de Implantação: O artigo fornece orientação específica sobre qual variante de modelo usar com base no regime de entrada:
  • Arquivos Limpos: medium/bpe-16k (maior precisão).
  • Streaming/Pacotes: medium/byte (satura em inputs pequenos).
  • Forense/Throughput: medium/bpe-64k (melhor para blocos aleatórios e alto throughput).

O MimeLens não visa substituir o Magika ou o libmagic para triagem de arquivos completos em submilissegundos, mas ocupa um ponto distinto na superfície de latência, granularidade e arbitrariedade de posição, visando especificamente cargas de trabalho que devem classificar conteúdo a partir de fragmentos, em vez de arquivos completos. Todos os 36 checkpoints treinados e o código de treinamento foram liberados no Hugging Face e GitHub.