🤖 machine learning

Self-Supervised Representations for Binary Program Clustering: From Empirical Study to Retrieval-Augmented Learning

Este artigo apresenta a primeira investigação sistemática de aprendizado de representação tabular e autossupervisionado para agrupamento de programas binários, identificando o VIME como um novo método de estado da arte e propondo o VIME-R, uma variante com aumento de recuperação que melhora significativamente o desempenho do agrupamento de malware.

Autores originais: Martin Mocko, Daniela Chudá

Publicado 2026-08-04

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Martin Mocko, Daniela Chudá

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine a internet como uma cidade gigante e movimentada onde milhões de novos "residentes digitais" chegam todos os dias. A maioria são vizinhos amigáveis, mas alguns são intrusos sorrateiros tentando roubar, quebrar ou causar o caos. Esses intrusos são chamados de malware. Somente em 2024, mais de 80 milhões de novos apareceram. Para manter a cidade segura, os guardas de segurança (especialistas em cibersegurança) precisam classificar esses milhões de arquivos em grupos. Se eles conseguirem identificar que um novo arquivo pertence à mesma "família" de um agente malfeitor conhecido, podem deter a ameação instantaneamente. Esse processo de classificação é chamado de clustering (agrupamento).

Normalmente, a classificação é fácil se você tiver uma lista de nomes (rótulos) dizendo quem é quem. Mas, no mundo real, os guardas muitas vezes têm que classificar uma pilha enorme de arquivos misteriosos sem nenhum nome. É aqui que o Aprendizado Autossupervisionado (SSL) e o Aprendizado de Representação Tabular (TRL) entram em cena. Pense no SSL como um estudante que aprende ao olhar para duas fotos ligeiramente diferentes do mesmo objeto e adivinhar que são a mesma coisa, sem que um professor lhe diga a resposta. O TRL é a arte específica de ensinar computadores a entender "dados de planilhas" (linhas e colunas de números), em vez de imagens ou texto. A grande questão que os pesquisadores têm feito é: podemos ensinar os computadores a classificar esses arquivos de malware misteriosos em famílias perfeitas apenas olhando para seus números, sem qualquer ajuda de um professor humano?

O Mistério dos Arquivos Misteriosos

Neste estudo, os pesquisadores Martin Mocko e Daniela Chudá decidiram brincar de detetive com uma enorme pilha de arquivos digitais. Eles queriam ver se truques modernos de IA, geralmente usados para reconhecer gatos em fotos ou entender frases, poderiam ser reaproveitados para agrupar arquivos de malware. Eles usaram dois enormes conjuntos de dados públicos de arquivos Windows chamados Ember e Bodmas. Esses conjuntos de dados são como bibliotecas gigantes contendo centenas de milhares de arquivos, cada um descrito por uma longa lista de números (características) que funcionam como uma impressão digital.

Os pesquisadores dividiram sua investigação em duas fases, como um romance de mistério em duas partes.

Fase 1: O Teste "E se?"
Primeiro, eles queriam saber a melhor pontuação possível. Imagine um professor dando ao IA a chave de respostas. Eles pegaram modelos de IA famosos projetados para imagens (como BYOL, SimSiam, Barlow Twins e VICReg) e os forçaram a aprender comparando arquivos que eles sabiam que pertenciam à mesma família. Este foi um teste "supervisionado" para ver quão alto o teto poderia chegar.

Os resultados foram uma mistura de heróis e fracassos. BYOL e SimSiam revelaram-se super-heróis. Quando recebidos com a chave de respostas, eles performaram quase tão bem quanto um modelo totalmente supervisionado (um que conhece todos os nomes de família), alcançando uma pontuação de "Homogeneidade" (uma medida de quão pura são os grupos) de quase 99% para categorias gerais e mais de 84% para famílias específicas. No entanto, Barlow Twins e VICReg tropeçaram feio, performando pior até mesmo do que os métodos de base mais simples. Acontece que nem todos os modelos de IA "inteligentes" são igualmente inteligentes quando você muda de imagens para planilhas.

Fase 2: O Desafio Real
Em seguida, os pesquisadores removeram a chave de respostas. Este é o cenário do mundo real: a IA tem que classificar os arquivos sem saber nenhum nome de família. Eles testaram os melhores modelos da Fase 1 junto com métodos mais novos projetados especificamente para dados de planilhas, como VIME, SCARF e SwitchTab.

Aqui, os antigos modelos baseados em imagens (BYOL e SimSiam) tiveram dificuldades quando forçados a usar os truques de "corrupção" destinados a planilhas. Eles não conseguiram superar os baselines simples. Mas o VIME (Imputação de Valor e Estimativa de Máscara) deu um passo à frente. Ele funcionava ao esconder partes aleatórias dos dados de um arquivo e tentar adivinhar o que estava faltando, aprendendo os padrões no processo. O VIME provou ser o novo campeão, superando os fortes baselines tradicionais (como PCA e Autoencoders) e estabelecendo um novo recorde de estado da arte.

A Reviravolta: VIME-R
Os pesquisadores ainda não tinham terminado. Eles notaram que o VIME estava adivinhando os dados faltantes olhando para arquivos aleatórios de toda a biblioteca. Mas e se ele olhasse apenas para arquivos que já eram muito semelhantes ao que estava estudando? Eles inventaram o VIME-R (Aumentado por Recuperação). Em vez de adivinhar a partir de toda a multidão, o VIME-R pergunta: "Quem são os 100 vizinhos mais parecidos com este arquivo?" e usa os dados deles para preencher as lacunas.

Essa mudança simples foi um divisor de águas. O VIME-R não apenas venceu os outros métodos não supervisionados; no conjunto de dados Ember, ele de fato ultrapassou o "teto supervisionado" estabelecido pelo melhor modelo supervisionado naquele teste específico, o SimSiam. Enquanto um classificador MLP totalmente supervisionado obteve uma pontuação maior no conjunto de dados Bodmas, no Ember, o VIME-R alcançou uma homogeneidade de família de 77,48%, superando a pontuação do SimSiam de 76,53%. Isso significa que, ao usar uma estratégia inteligente de "vizinhança", a IA não supervisionada aprendeu a agrupar as famílias de malware melhor do que o modelo supervisionado que foi explicitamente informado sobre os nomes das famílias naquele contexto específico!

O Que Isso Significa para o Futuro

O artigo sugere que, embora alguns modelos populares de IA (como Barlow Twins e VICReg) possam não ser as ferramentas certas para classificar planilhas de malware, outros (como BYOL e SimSiam) têm um enorme potencial se conseguirmos descobrir como criar os "pares" certos de arquivos para eles aprenderem.

Mais importante ainda, o estudo prova que o aprendizado aumentado por recuperação é uma nova direção poderosa. Ao ensinar a IA a aprender com seus vizinhos mais próximos em vez de com o mundo inteiro, podemos obter resultados incrivelmente precisos sem precisar de rótulos humanos caros. Os pesquisadores descobriram que o VIME-R melhorou a qualidade do agrupamento em 2,7% a 5,8% em relação ao método anterior mais forte.

Embora o estudo seja limitado a características estáticas (como olhar para o projeto de um arquivo em vez de observar sua execução) e conjuntos de dados específicos, os resultados são um sinal forte. Eles mostram que, com os truques certos, os computadores podem aprender a organizar o mundo caótico do malware por conta própria, potencialmente ajudando os guardas de segurança a detectar novas ameaças mais rápido do que nunca. O código para esses métodos será disponibilizado, convidando outros a construir sobre esta descoberta.

Resumo Técnico: Representações de Aprendizado Autossupervisionado para Agrupamento de Programas Binários

Definição do Problema

O artigo aborda o desafio crítico do agrupamento de programas binários (binary program clustering), definido como a tarefa de agrupar todos os arquivos executáveis recebidos (tanto maliciosos quanto benignos) sem conhecimento prévio de seus rótulos. Isso se distingue do agrupamento de malware padrão, que frequentemente foca apenas em amostras maliciosas. O objetivo é melhorar a qualidade desses agrupamentos para auxiliar na descoberta de ameaças, análise de famílias e na criação de conjuntos de dados representativos compactados.

A dificuldade central reside no domínio de dados tabulares (especificamente características estáticas extraídas de binários PE do Windows). Embora o Aprendizado Autossupervisionado (SSL) e o Aprendizado de Representação Tabular (TRL) tenham alcançado avanços significativos em visão computacional e NLP, sua aplicação ao agrupamento de programas binários permanece amplamente inexplorada. Uma barreira primária é a falta de estratégias eficazes de aumento de dados (data augmentation) para dados tabulares. Diferente de imagens ou texto, os dados tabulares carecem de correlações sequenciais inerentes ou estruturas geométricas que permitam perturbações simples para criar "pares positivos" (amostras semanticamente similares) exigidos por métodos de SSL contrastivos e não contrastivos.

Metodologia

A pesquisa é estruturada em duas fases experimentais distintas utilizando os conjuntos de dados públicos Ember e Bodmas. A métrica de avaliação primária é a Homogeneidade, medida tanto para rótulos de classe (malware vs. benigno) quanto para rótulos de família de malware.

Fase 1: Estabelecendo o Teto Supervisionado

Os autores investigam o teto de desempenho teórico de métodos populares de SSL quando estes são fornecidos com pares positivos supervisionados (pares gerados com base em rótulos conhecidos de famílias de malware).

Modelos Testados: BYOL, SimSiam, Barlow Twins e VICReg.
Adaptação: Arquiteturas de SSL baseadas em visão foram adaptadas para dados tabulares substituindo backbones de CNN por camadas totalmente conectadas (FC).
Geração de Pares: Pares positivos foram criados deterministicamente com base nos rótulos das amostras (amostras com o mesmo rótulo de família foram pareadas).
Baseline: Um MLP (Perceptron Multicamadas) treinado em rótulos de família serviu como benchmark de teto totalmente supervisionado.

Fase 2: Aprendizado Puramente Não Supervisionado

Esta fase avalia métodos em um cenário realista onde nenhum rótulo está disponível durante o treinamento.

Modelos de TRL: VIME, SCARF e SwitchTab. Estes métodos dependem de corrupção de dados (mascaramento e imputação de características) em vez de geração explícita de pares positivos.
- VIME: Corrompe características amostrando da distribuição marginal empírica global.
- SCARF: Utiliza uma estratégia de corrupção semelhante, mas otimiza com perda contrastiva InfoNCE.
- SwitchTab: Utiliza corrupção zero e um autoencoder assimétrico.
Adaptação de SSL: Os modelos de SSL com melhor desempenho da Fase 1 (BYOL e SimSiam) foram reavaliados usando a estratégia de corrupção do VIME como um proxy para aumento de dados.
Baselines: Baselines não supervisionados fortes, incluindo PCA, Autoencoders e UMAP.

Inovação Proposta: VIME-R

Informado pelos resultados da Fase 2, os autores propõem o VIME-R (Value Imputation and Mask Estimation with Retrieval - Imputação de Valor e Estimativa de Máscara com Recuperação).

Motivação: O VIME padrão corrompe características usando valores da distribuição marginal global, o que pode introduzir ruído ao misturar amostras semanticamente distantes.
Mecanismo: O VIME-R restringe o pool de corrupção. Em vez de amostrar da distribuição global, os valores de características corrompidos são amostrados da distribuição marginal empírica local dos $k$ -vizinhos mais próximos (onde $k=100$ ) da amostra alvo.
Objetivo: Gerar pares de treinamento mais informativos que preservem a estrutura do manifold local dos dados sem a necessidade de rótulos.

Principais Resultados

Fase 1: Teto Supervisionado

Lacuna de Desempenho: BYOL e SimSiam alcançaram desempenho comparável a MLPs totalmente supervisionados quando treinados em pares supervisionados.
- No Bodmas: O BYOL alcançou 99,42% de Homogeneidade de classe e 84,92% de Homogeneidade de família.
- No Ember: O BYOL alcançou 91,36% de Homogeneidade de classe e 75,87% de Homogeneidade de família.
Desempenho Insuficiente: Barlow Twins e VICReg tiveram desempenho significativamente inferior, falhando em superar baselines fortes (PCA/Autoencoder) no conjunto de dados Bodmas e apresentando alta variância.
Teto Estabelecido: O estudo estabelece um teto de desempenho de ~99% de Homogeneidade de classe e ~85% de Homogeneidade de família para o aprendizado de pares supervisionados nesses conjuntos de dados.

Fase 2: Desempenho Não Supervisionado

Dominância do TRL: O VIME estabeleceu um novo estado da arte (SOTA) para o agrupamento de programas binários não supervisionado, superando PCA, Autoencoders e UMAP.
- No Bodmas: O VIME alcançou 87,85% (máx) de Homogeneidade de classe e 80,87% (média) de Homogeneidade de família.
- No Ember: O VIME alcançou 66,80% de Homogeneidade de classe e 74,36% de Homogeneidade de família.
Falha de SSL em Modo Não Supervisionado: Quando o BYOL e o SimSiam foram forçados a usar a estratégia de corrupção do VIME (como substituto para pares positivos), eles falharam em igualar o desempenho de baselines não supervisionados como o PCA, confirmando que esses métodos de SSL requerem pares positivos específicos e de alta qualidade para funcionar efetivamente.
Lacuna para Supervisão: O VIME (não supervisionado) aproximou-se notavelmente do teto supervisionado. No Ember, a Homogeneidade de família do VIME (74,36%) ficou apenas 2,2% abaixo do teto supervisionado do SimSiam na Fase 1 (76,53%).

Resultados do VIME-R

Conquista de SOTA: O VIME-R melhorou ainda mais o VIME, alcançando novos resultados de SOTA.
- Bodmas: Melhorou a Homogeneidade de família em 2,96% em relação ao VIME (83,83% vs 80,87%).
- Ember: Melhorou a Homogeneidade de família em 3,9% em relação ao VIME (77,48% vs 74,36%).
Superando a Supervisão: Notavelmente, no conjunto de dados Ember, a Homogeneidade de família do VIME-R (77,48%) superou o teto supervisionado estabelecido pelo SimSiam na Fase 1 (76,53%).

Contribuições e Significância

O artigo reivindica as seguintes contribuições:

Primeira Investigação Sistemática: É o primeiro estudo a avaliar sistematicamente métodos de SSL e TRL especificamente para a tarefa de agrupamento de programas binários.
Teto de Desempenho: Estabelece um teto quantitativo de desempenho para o agrupamento de programas binários usando aprendizado de pares supervisionados, fornecendo um benchmark para futuras estratégias de aumento.
Novo SOTA: Demonstra que métodos de TRL não supervisionados (especificamente o VIME) podem superar baselines tradicionais fortes (PCA, Autoencoders, UMAP) e aproximar-se de níveis de desempenho supervisionado.
Aprendizado Aumentado por Recuperação: A proposta do VIME-R introduz uma nova estratégia de corrupção aumentada por recuperação. O artigo argumenta que este método preenche a lacuna entre a corrupção agnóstica ao domínio e o aprendizado supervisionado, provando que o aumento consciente da localidade pode gerar representações superiores àquelas derivadas de supervisão explícita de rótulos de família em certos contextos.

Conclusão

O estudo conclui que, embora os métodos de SSL padrão baseados em visão lutem sem aumentos de dados personalizados, o TRL oferece um caminho viável para a análise de malware. Especificamente, a estratégia de corrupção aumentada por recuperação (VIME-R) representa uma direção promissora, permitindo que modelos não supervisionados alcancem uma qualidade de agrupamento que rivaliza ou até excede os baselines totalmente supervisionados em termos de discriminação de nível de família. Os autores enfatizam que esta abordagem é particularmente valiosa para a análise automatizada de malware, onde os dados rotulados são escassos.