🤖 AI

Evaluating Agentic Learning Harness Capabilities Without Labels via the Scaling Hypothesis

Este artigo propõe e valida uma estrutura de avaliação sem rótulos para sistemas de aprendizado contínuo agênticos em cibersegurança, demonstrando que medir a convergência de um modelo estudante em direção a um modelo professor mais forte por meio de correções esparsas serve como um proxy confiável para o verdadeiro de melhoria de desempenho quando benchmarks rotulados não estão disponíveis.

Autores originais: Aryan Luthra, Kshitij Jain, Siddharth Arya, Bobby Filar, Anna Bertiger

Publicado 2026-08-17

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Aryan Luthra, Kshitij Jain, Siddharth Arya, Bobby Filar, Anna Bertiger

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô a identificar um e-mail ruim. No mundo da inteligência artificial, temos esses "Modelos de Linguagem de Grande Escala" (LLMs) superinteligentes que conseguem ler e escrever como humanos. Mas, para torná-los verdadeiramente úteis para a segurança, precisamos que eles aprendam com seus erros conforme avançam, um processo chamado "Aprendizado Contínuo". Normalmente, para verificar se um robô está aprendendo, damos a ele um teste com um gabarito conhecido (dados rotulados). Mas, no mundo real da cibersegurança, os vilões mudam seus truques todos os dias e raramente temos um gabarito perfeito. Só recebemos feedback quando o robô comete um erro enorme e óbvio. Isso deixa as equipes de segurança em um dilema: eles têm um robô que precisa aprender, mas não têm como saber se suas novas ferramentas de aprendizado estão realmente funcionando ou apenas piorando as coisas. Eles precisam de uma maneira de medir o progresso sem uma chave de referência.

Este artigo aborda exatamente esse problema. Os autores propõem um contorno inteligente usando uma configuração "Professor-Aluno". Em vez de esperar que um humano corrija o trabalho do robô, eles usam um modelo de IA muito maior e mais inteligente como "Professor". Eles deixam esse Professor avaliar o trabalho de um modelo "Aluno" menor. A ideia é que, se o Aluno começar a agir mais como o Professor inteligente após usar uma nova ferramenta de aprendizado, essa ferramenta provavelmente é boa. O artigo sugere que esse progresso "relativo ao Professor" é um sinal confiável de que a ferramenta também funcionaria bem com o feedback humano real, mesmo quando não existem rótulos humanos. No entanto, os autores também lançam um alerta sonoro: usar outro modelo de IA do mesmo tamanho para julgar o trabalho é uma má ideia. Esses juízes de "mesma força" são muito tendenciosos; eles preferem os de sua própria espécie e não conseguem perceber quando um aluno realmente melhorou.

A Escola de Robôs e o Gabarito Ausente

Vamos mergulhar na história do "Harness de Aprendizado" (Arreio de Aprendizado). Imagine que você tem um robô aprendiz jovem (o Aluno) tentando aprender a classificar correspondências. Ele é bom, mas não é perfeito. Para ajudá-lo a melhorar, você anexa um "Harness de Aprendizado". Isso não é um upgrade mágico no cérebro; é mais como uma mochila cheia de post-its. Cada vez que o robô comete um erro, um humano (ou, neste caso, um robô mais inteligente) escreve uma nota em um bloco de notas explicando por que ele estava errado e qual é a resposta correta. O robô então olha para essas notas quando enfrenta um novo problema semelhante.

O problema é que, no mundo real, os humanos estão ocupados. Eles só escrevem essas notas quando o robô comete um erro realmente ruim que causa uma crise. Isso significa que o robô recebe pouquíssimas notas, e elas chegam em momentos aleatórios. Então, como você sabe se a mochila de notas está realmente ajudando o robô a aprender?

Normalmente, você daria ao robô um teste com um gabarito. Mas, na cibersegurança, esse gabarjo ainda não existe porque as ameaças são novas. Você não pode esperar por um teste perfeito; você precisa saber agora se o sistema de aprendizado funciona.

O Truque Professor-Aluno

Os autores deste artigo criaram uma solução brilhante: A Hipótese de Escalonamento. Pense nisso como uma família de robôs. Você tem um robô júnior minúsculo (o Aluno) e um robô sênior gigante (o Professor) da mesma família. Como o robô sênior é maior e viu mais dados, ele é quase sempre mais inteligente.

Aqui está o experimento que eles realizaram:

Eles pegaram vários e-mails e pediram ao Professor para classificá-los. Como o Professor é tão inteligente, os autores trataram as respostas do Professor como a "verdade" (embora não tivessem um gabarito humano).
Eles deram os mesmos e-mails para o Aluno.
Eles deixaram o Aluno cometer erros, depois deram a ele alguns "post-its" (correções) baseados no que o Professor disse ser o correto.
Eles observaram para ver se o Aluno ficava melhor em combinar as respostas com o Professor.

A grande questão era: Será que ficar melhor em combinar com o Professor significa que o Aluno está realmente melhorando na tarefa real?

Para descobrir, eles realizaram um teste secreto. Eles tinham alguns e-mails com gabaritos humanos reais (o "Padrão de Ouro") que mantiveram ocultos durante o processo de aprendizado. Eles verificaram se a melhoria do Aluno em direção ao Professor correspondia à sua melhoria em direção às respostas humanas reais.

O Resultado: Funcionou! O artigo encontrou uma conexão forte. Quando o Aluno aprendeu a imitar o Professor, ele também melhorou no teste humano real. Isso sugere que, se você usar uma IA superinteligente para avaliar seu sistema de aprendizado, e o sistema melhorar, você pode ter confiança de que ele também melhoraria com o feedback humano real. É como dizer: "Se meu aluno começa a pensar como meu professor gênio, ele provavelmente está aprendendo algo valioso, mesmo que eu ainda não tenha o exame final".

A Armadilha do Juiz de "Mesma Força"

Mas houve uma reviravolta. Os autores também testaram uma ideia diferente que muitas pessoas usam: LLM-as-a-Judge (LLM como Juiz). Isso é quando você pede a um robô do mesmo tamanho e inteligência que o Aluno para decidir qual versão é melhor: a que tem a mochila de aprendizado ou a que não tem.

Imagine pedir a duas crianças de 10 anos para julgar quem é melhor em matemática. Se uma delas tiver um gabarito, a outra notará? O artigo descobriu que não, elas não notariam.

Quando os autores usaram um juiz de "mesma força", os resultados foram uma bagunça:

Viés: Os juízes frequentemente escolhiam a primeira resposta que viam, independentemente de estar certa ou não.
Preferência Própria: Os juízes tendiam a gostar das respostas do robô que era como eles (aquele sem a mochila) e rejeitavam a versão melhorada.
Confiabilidade: Quando o juiz acertava, era apenas cerca de metade das vezes (48% para alguns modelos, o que é basicamente um cara ou coroa).

O artigo explicitamente descarta o uso de uma IA do mesmo tamanho como juiz para este trabalho. Ele sugere que um robô não consegue reconhecer de forma confiável quando outro robô de seu próprio nível melhorou. É como perguntar a uma pessoa que não sabe a resposta para corrigir uma prova; ela simplesmente não consegue distinguir entre um bom palpite e um excelente.

O Que Isso Significa para o Futuro

Os autores são cuidadosos ao não dizer que isso é uma solução mágica que resolve tudo para sempre. Eles sugerem que este método "Professor-Aluno" é uma forma válida de medir ferramentas de aprendizado quando você não possui rótulos. Eles mostraram que quanto maior for a diferença de inteligência entre o Professor e o Aluno, mais confiável o teste se torna. Se o Professor for apenas ligeiramente mais inteligente, o teste fica impreciso.

Eles também apontam que isso funciona melhor quando as correções são "esparsas" e de "alta precisão" — ou seja, apenas os erros realmente importantes são corrigidos, exatamente como ocorre no mundo real.

Portanto, a lição para o adolescente curioso é esta: Em um mundo onde nem sempre podemos obter um gabarito perfeito, podemos usar uma IA "superinteligente" para avaliar nossas ferramentas de aprendizado. Se a ferramenta ajuda o aluno a agir mais como a IA superinteligente, ela provavelmente é uma boa ferramenta. Mas não peça para uma IA comum julgar seus próprios amigos; eles serão apenas tendenciosos e perderão o progresso. Isso dá às equipes de segurança uma nova maneira de construir melhores robôs de autoaprendizado sem precisar de uma montanha de dados rotulados por humanos.

Resumo Técnico: Avaliando Capacidades de Aprendizado Agêntico via Hipótese de Escalonamento sem Rótulos

1. Definição do Problema

Na cibersegurança operacional, "harnesses de aprendizado contínuo" (sistemas que pareiam Grandes Modelos de Linguagem com recuperação ou memória para se adaptar via feedback) são cada vez mais vitais para defender-se contra ameaças em rápida mudança. No entanto, avaliar esses harnesses é notoriamente difícil em ambientes do mundo real devido à escassez, obsolescência e viés de benchmarks rotulados.

Métodos tradicionais de avaliação falham neste contexto:

Benchmarks Rotulados: Frequentemente indisponíveis, não representativos ou esparsos demais para fornecer um sinal claro da eficácia do harness.
LLM-as-a-Judge (LLM como Juiz): Falha quando o modelo juiz possui capacidade semelhante ao agente sendo avaliado. Um juiz não consegue identificar de forma confiável melhorias que excedam seu próprio desempenho basal.
Destilação: A destilação padrão baseada em ajuste fino (fine-tuning) ou adaptadores é pouco confiável quando o feedback humano é esparso, esporádico e formado de maneira irregular.

Consequentemente, os profissionais carecem de um método rigoroso para determinar se um harness específico melhora o desempenho de um modelo ou para comparar diferentes designs de harness sem acesso a um conjunto de dados de "padrão ouro" rotulado.

2. Metodologia

Os autores propõem um framework fundamentado na Hipótese de Escalonamento (Scaling Hypothesis) para avaliar harnesses de aprendizado de ponta a ponta sem benchmarks rotulados. A premissa central é que um "professor" mais forte pode fornecer correções esparsas e de alta precisão para um modelo "aluno" mais fraco, e a convergência do aluno em direção ao professor serve como um proxy para o verdadeiro progresso.

Desenho Experimental

O estudo utiliza uma configuração de três modelos para cada tarefa:

Professor (Teacher): Um modelo maior e mais forte de uma família específica (ex: GPT-4.1, Gemini Pro) operando sem um harness.
Aluno (Student): Um modelo menor e mais fraco da mesma família (ex: GPT-4.1 Nano, Gemini Flash) operando sem um harness.
Aluno (Student com Harness):* O mesmo modelo aluno equipado com um harness de aprendizado contínuo específico.

Procedimento:

Pseudo-Rotulagem: O modelo Professor gera previsões para um grande pool de amostras não rotuladas, tratando estas como "pseudo-rótulos".
Correções Esparsas: O conjunto de dados é dividido em rodadas. Em cada rodada, o modelo Aluno* faz previsões. Uma pequena amostra aleatória (até 5) de classificações incorretas de "alto impacto" (onde o Aluno* discorda do Professor) é fornecida como correção. Isso mimetiza o ciclo de feedback esparso e de alta precisão de analistas humanos em operações de segurança.
Avaliação: Após múltiplas rodadas, o desempenho do Aluno bruto e do Aluno* é medido em um conjunto de teste mantido à parte usando duas métricas:
- $\Delta_G$ : Melhoria relativa aos Rótulos de Ouro (Gold Labels) (usados apenas para validação final).
- $\Delta_T$ : Melhoria relativa aos Pseudo-Rótulos do Professor (Teacher Pseudo-Labels).

O framework testa se $\Delta_T$ correlaciona-se com $\Delta_G$ . Se um harness melhora o alinhamento do aluno com o professor, assume-se que ele melhora o alinhamento do aluno com a verdade fundamental (ground truth).

Configurações de Harness

O estudo avalia três designs distintos de harness:

Memória (Memory): Recupera erros passados como registros (trecho de entrada, previsão incorreta, rótulo de correção), semelhante ao MemPrompt ou Reflexion.
Few-shot: Recupera correções como exemplares rotulados (entrada $\to$ rótulo correto) para generalização, sem mostrar o erro.
Lição (Lesson): Uma instância separada do modelo aluno reflete sobre um erro para gerar uma "lição" curta e discriminativa (uma regra de bolso com pistas de "aplicar apenas quando"). Isso é projetado para lidar com casos limítrofes onde a redação ou a intenção inverte o rótulo correto.

Escopo

Experimentos foram conduzidos através de:

Tarefas: PhishFuzzer (classificação de e-mail), CTIBench (atribuição CVE-para-CWE) e classificação de táticas ATT&CK.
Modelos: Três famílias (Gemini, GPT, Qwen) com variantes pequenas/grandes.
Condições: Tanto pares da mesma família (Professor/Aluno da mesma família) quanto pares de famílias cruzadas, desde que o Professor supere o Aluno na tarefa base.

3. Resultados Principais

A. O Alinhamento com o Professor Correlaciona-se com a Verdade Fundamental

O principal achado é uma forte correlação positiva entre $\Delta_T$ (melhoria relativa ao professor) e $\Delta_G$ (melhoria relativa aos rótulos de ouro).

Validade: Em tarefas de segurança, famílias de modelos e designs de harness, os harnesses que melhoraram o alinhamento do aluno com o professor também melhoraram o alinhamento com o padrão ouro.
Gap de Capacidade: A correlação mantém-se para pares da mesma família e de famílias cruzadas, desde que exista um gap de capacidade significativo. A validade do proxy depende da magnitude do gap entre aluno e professor, não meramente da arquitetura compartilhada.
Hipótese de Escalonamento: Em casos de discordância entre aluno e professor, o modelo professor maior estava correto significativamente mais vezes do que o aluno menor, validando a suposição de que o professor serve como uma fonte confiável de verdade na ausência de rótulos.

B. Ineficácia do LLM-as-a-Judge

O estudo demonstra que usar um LLM de força similar ao agente como juiz não produz sinal utilizável:

Viés de Preferência Própria (Self-Preference Bias): Juízes do nível do aluno sistematicamente preferem suas próprias saídas basais em detrimento de saídas melhoradas por um harness, mesmo quando a saída do harness está correta.
Baixa Confiabilidade: Um juiz de mesma força mostrou confiabilidade contra a verdade fundamental de aproximadamente 48% (próximo ao acaso) e caiu para 25% ao comparar aluno vs. professor, indicando uma incapacidade sistemática de reconhecer o desempenho acima de seu próprio baseline.
Viés Posicional: Juízes exibiram altas taxas de inversão de vereditos baseadas na ordem de apresentação quando incapazes de distinguir a qualidade.

4. Significância e Alegações

O artigo afirma fornecer uma solução prática para operadores de segurança avaliarem e compararem harnesses de aprendizado contínuo em ambientes operacionais onde os rótulos de ouro estão ausentes.

Proxy para Feedback Humano: Os autores argumentam que, se um harness produz um aumento mensurável em relação a um modelo mais forte (Professor) usando correções esparsas, é altamente provável que produza ganhos semelhantes quando as correções venham de analistas humanos. O harness interage apenas com as correções, não com a fonte (modelo ou humano); portanto, o mecanismo de melhoria é transferível.
Utilidade Operacional: Este framework permite que profissionais:
1. Determinem se um harness ajuda de fato.
2. Comparem dois designs de harness diferentes para selecionar o superior.
3. Evitem as armadilhas do "LLM-as-a-judge" quando o agente já é um modelo de fronteira.
Limitações e Mitigações: Os autores reconhecem que o proxy depende de um gap de capacidade suficiente entre aluno e professor. Se o gap for pequeno ou ambos os modelos tiverem desempenho ruim, a correlação enfraquece. Eles sugerem usar a hipótese de escalonamento (comparando modelos grandes vs. pequenos) e realizar verificações pontuais com alguns exemplos rotulados para garantir que o professor seja suficientemente competente antes de implantar o proxy.

Em conclusão, este trabalho estabelece que o ganho relativo ao professor (teacher-relative lift) é um métrica válida e sem necessidade de rótulos para avaliar o valor de harnesses de aprendizado agêntico em cibersegurança, oferecendo uma alternativa rigorosa aos benchmarks tradicionais em ambientes dinâmicos e com escassez de dados.