Seven simple steps for log analysis in AI systems

O artigo propõe um pipeline padronizado de sete etapas para análise de logs em sistemas de IA, ilustrado com exemplos de código na biblioteca Inspect Scout, a fim de fornecer aos pesquisadores uma base para análises rigorosas e reproduzíveis.

O essencial

Imagine que os sistemas de Inteligência Artificial (IA) são como caixas de ferramentas mágicas que trabalham para nós. Quando elas resolvem um problema ou conversam com alguém, elas deixam para trás um rastro gigante de "papelada": o que pensaram, o que disseram, que ferramentas usaram e onde erraram. Isso é o que chamamos de logs (registros).

O problema é que essa "papelada" é um caos. São milhões de páginas de texto bagunçado. Se você tentar ler tudo manualmente, vai ficar louco antes de entender qualquer coisa.

Este artigo é um guia de sobrevivência para transformar esse caos em informação útil. Os autores (um time de especialistas em segurança de IA) propõem um método de 7 passos simples para analisar esses registros, usando uma "lupa" chamada Inspect Scout.

Aqui está a explicação passo a passo, com analogias do dia a dia:

O Conceito Geral: O Detetive de IA

Pense na análise de logs como um detetive investigando uma cena do crime.

• O Crime: Um erro na IA, uma recusa em ajudar ou um comportamento estranho.
• A Cena: Os registros (logs) da conversa ou da tarefa.
• O Detetive: O pesquisador (você).
• A Lupa: O software (scanner) que ajuda a encontrar padrões.

---

Os 7 Passos Simples (A Receita do Detetive)

1. Defina o "Porquê" da Investigação

Antes de começar, você precisa saber o que procura.

• Analogia: Você não vai entrar numa floresta sem saber se está procurando um tesouro, um animal perdido ou apenas um caminho seguro.
• Na prática: Você quer saber se a IA consegue resolver um problema de hacking? Ou quer saber se ela está mentindo sobre o que fez? Definir a pergunta ajuda a não se perder nos dados.

2. Organize a "Papelada" (Prepare o Banco de Dados)

Você tem milhões de registros espalhados. Preciso juntá-los em uma pasta organizada.

• Analogia: É como pegar todas as cartas de um correio bagunçado e colocá-las em caixas separadas por data, remetente e tipo de carta.
• Na prática: O guia ensina a filtrar registros incompletos, esconder dados sensíveis (como nomes reais) e padronizar tudo para que o computador consiga ler fácil.

3. Dê uma "Olhada" Manual (Exploração)

Antes de usar robôs, olhe alguns registros com seus próprios olhos.

• Analogia: Antes de usar um detector de metais, você caminha pela praia e vê como a areia é, se tem conchas ou pedras. Isso te dá uma "intuição".
• Na prática: Leia algumas conversas aleatórias. Veja como a IA pensa. Isso ajuda a criar hipóteses. "Será que ela para de trabalhar quando fica cansada?"

4. Refine a Pergunta (O que exatamente procurar?)

Agora que você viu o que está acontecendo, transforme sua pergunta vaga em algo específico.

• Analogia: Em vez de perguntar "Por que o carro quebrou?", pergunte "O motor superaqueceu porque o radiador estava vazio?".
• Na prática: Em vez de "A IA recusou ajudar?", procure por sinais específicos como: "Ela disse 'não posso'?", "Ela mudou de assunto?", "Ela fingiu que estava fazendo algo e não fez?".

5. Crie o "Robô Detetive" (Desenvolva o Scanner)

Aqui você cria um programa (chamado de scanner) que lê os logs automaticamente.

• Analogia: Você ensina um cachorro de guarda a latir apenas quando ouve um ladrão, e não quando o carteiro chega. Você precisa dar regras claras: "Se ouvir a palavra 'perigo', latir".
• Na prática: Você usa uma IA (um modelo de linguagem) para ler os logs e classificar o comportamento. Você precisa escrever instruções muito claras para ela, com exemplos do que é "sucesso" e o que é "fracasso".

6. Teste o Robô (Valide o Scanner)

O robô está funcionando? Ele está latindo para o carteiro?

• Analogia: Você pega 100 gravações de áudio (algumas com ladrões, outras sem) e deixa o cachorro ouvir. Você marca onde ele acertou e onde errou.
• Na prática: Você compara o que o robô disse com o que humanos reais acharam. Se o robô disse "isso é uma recusa" e o humano disse "não é", você ajusta as regras do robô até ele ficar preciso.

7. Use as Descobertas (Ação)

Agora que você tem dados confiáveis, o que faz com eles?

• Analogia: O detetive pega as provas e as entrega ao juiz ou usa para melhorar a segurança da cidade.
• Na prática:
  • Alerta: Se a IA está recusando tarefas importantes, você pode criar um alerta para corrigir isso.
  • Pesquisa: Você pode descobrir padrões: "A IA erra mais em tarefas de matemática do que em arte". Isso ajuda a melhorar o modelo para o futuro.

---

Por que isso é importante?

Hoje, as IAs são muito complexas. Elas podem ter "alucinações" (inventar fatos), recusar tarefas importantes ou até tentar "trapacear" nos testes.

Sem essa análise de logs, estamos dirigindo um carro de Fórmula 1 de olhos vendados. Com esses 7 passos, os pesquisadores conseguem:

1. Entender como a IA realmente pensa.
2. Consertar os erros antes que eles causem problemas reais.
3. Garantir que os testes de segurança funcionam de verdade.

Resumo final: O artigo é um manual para transformar uma montanha de texto confuso em um mapa claro, usando ferramentas inteligentes para garantir que nossas IAs sejam seguras, úteis e honestas.

Resumo técnico

Resumo Técnico: Sete Passos Simples para Análise de Logs em Sistemas de IA

1. O Problema

À medida que os sistemas de IA (especialmente agentes autônomos e chatbots) interagem com ferramentas e usuários em múltiplas rodadas, eles geram volumes massivos de logs. Estes registros contêm entradas de modelos, saídas, rastros de raciocínio (Chain-of-Thought), chamadas de ferramentas e metadados.

Apesar do valor desses dados para entender capacidades, propensões e comportamentos dos modelos, a análise manual tornou-se inviável devido à escala e complexidade. A literatura atual carece de uma abordagem padronizada e unificada para análise de logs. Muitas práticas existem em relatórios internos ou posts de blog, mas não há um framework rigoroso para garantir reprodutibilidade, validade e uma linguagem comum entre pesquisadores. Além disso, a detecção automática de padrões (usando scanners baseados em LLMs) ainda enfrenta desafios de consistência e precisão.

2. Metodologia: O Pipeline de 7 Passos

Os autores propõem um pipeline estruturado baseado nas melhores práticas atuais, ilustrado através da biblioteca de código aberto Inspect Scout. O processo é dividido em sete etapas:

Passo 1: Definir o Propósito da Análise

Estabelecer a pergunta de pesquisa inicial. Isso pode ser uma questão primária (ex: "O agente resolve a tarefa?") ou secundária (ex: "A avaliação funcionou como planejado?"). É crucial entender o contexto dos logs, incluindo configuração do modelo, setup do agente, ambiente e prompts.

Passo 2: Preparar o Banco de Dados de Logs

Organizar os logs em um banco de dados estruturado para permitir busca eficiente por metadados.

• Ações: Filtrar execuções incompletas, remover dados sensíveis (PII), padronizar formatos e enriquecer metadados (ex: adicionar soluções de referência).
• Ferramenta: Uso de frameworks como Inspect AI para garantir que os logs já venham em formato adequado.

Passo 3: Explorar os Logs

Análise manual e automática para entender a estrutura e o conteúdo antes de aplicar scanners formais.

• Metadados: Analisar estrutura, contagem de tokens, timestamps e scores primários.
• Transcrições Manuais: Amostragem estratégica (aleatória, baseada em scores extremos, ou focada em erros) para identificar padrões de comportamento, falhas e limitações.
• Exploração Automática (sem LLM): Estatísticas descritivas, correspondência de strings (regex) para erros ou frases-chave.
• Exploração Automática (com LLM): Uso de LLMs para consultas interativas (RAG) ou como scanners preliminares para identificar casos complexos que regex não captura.

Passo 4: Refinar a Pergunta de Pesquisa

Transformar a pergunta abstrata em uma questão concreta com sinais mensuráveis.

• Sinais: Identificar comportamentos específicos que podem ser operacionalizados em scanners (ex: "recusa direta" vs. "recusa indireta", "alucinações", "consciência de avaliação").
• Exemplo: Em vez de "Por que o agente falhou?", definir "O agente falhou devido a erros de ferramenta ou recusa?".

Passo 5: Desenvolver o Scanner (Scanners)

Criar o mecanismo automatizado para detectar os sinais definidos.

• Escopo: Decidir o nível de granularidade (mensagens individuais, transcrição completa, chunks de contexto).
• Tipos de Pontuação: Definir se a saída será binária, multiclasse, quantitativa (contagem) ou ordinal.
• Melhores Práticas de Design:
  • Prompts claros com instruções de "grading" (não executar a tarefa, mas avaliá-la).
  • Rubricas detalhadas com exemplos positivos e negativos (anchors).
  • Solicitar explicações e citações de trechos do log para reduzir alucinações.
  • Uso de formatos estruturados (JSON) para saída.
  • Validação iterativa e uso de múltiplos modelos para consenso.

Passo 6: Validar o Scanner

Garantir que o scanner detecta os padrões pretendidos com precisão.

• Amostragem: Selecionar um conjunto de validação estratificado (cobrindo diferentes scores, níveis de incerteza e classes raras).
• Ground Truth: Obter rótulos de verdade absoluta (métricos objetivos ou múltiplos avaliadores humanos para subjetividade).
• Métricas: Calcular Precisão, Recall, F1-score, AUC-ROC e concordância entre avaliadores (Kappa de Fleiss/Krippendorff).
• Refinamento: Ajustar a rubrica com base nos erros de validação (ex: falsos positivos/negativos).

Passo 7: Usar os Resultados

Interpretar e aplicar os dados estruturados gerados pelos scanners.

• Para Alertas (Flagging): Detectar comportamentos críticos em tempo real (ex: recusas perigosas) para ação imediata.
• Para Pesquisa: Transformar logs não estruturados em dados estruturados para análise estatística rigorosa (ex: modelos GLM hierárquicos), evitando viés de seleção e generalizações baseadas em anedotas.

3. Contribuições Principais

1. Framework Unificado: Apresentação de um pipeline de 7 passos padronizado para análise de logs, preenchendo uma lacuna crítica na metodologia de avaliação de IA.
2. Guia Prático e Reprodutível: Fornecimento de diretrizes detalhadas para cada etapa, desde a preparação de dados até a validação estatística.
3. Exemplos de Código e Ferramentas: Ilustração prática utilizando a biblioteca Inspect Scout, demonstrando como construir, validar e escalar scanners.
4. Identificação de Armadilhas Comuns: Alerta sobre viéses em scanners (viés de posição, viés de auto-referência, efeito "lost in the middle" em logs longos) e como mitigá-los.
5. Lista de Questões Abertas: Mapeamento de lacunas de pesquisa, como a determinação de tamanhos de amostra ideais e a comparação de abordagens de pontuação (binária vs. ordinal).

4. Resultados e Casos de Uso

O artigo utiliza um estudo de caso de avaliação de agentes em tarefas de Cybersecurity (Cybench) para demonstrar o pipeline:

• Problema Inicial: Desempenho inesperadamente baixo dos modelos em tarefas de CTF (Capture The Flag).
• Aplicação do Pipeline:
  • A exploração manual revelou que muitos agentes se recusavam a executar tarefas por considerá-las "perigosas".
  • Um scanner de palavras-chave inicial foi insuficiente devido à variação linguística das recusas.
  • Foi desenvolvido um scanner baseado em LLM com uma rubrica multiclasse (Sem Recusa, Parcial, Indireta, Crítica).
  • Após validação humana (F1-score de 0.998), o scanner refinado identificou que a "recusa indireta" (abandonar a tarefa alegando impossibilidade) era um fator majoritário de falha, não apenas a recusa explícita.
• Resultado: A análise permitiu distinguir entre falhas de capacidade e falhas de alinhamento/comportamento, refinando a compreensão do desempenho do modelo.

5. Significância

Este trabalho é fundamental para o avanço da segurança e avaliação de IA por várias razões:

• Escalabilidade: Permite que pesquisadores analisem milhões de interações de agentes de forma semi-automatizada, algo impossível manualmente.
• Rigor Científico: Eleva a análise de logs de uma prática ad-hoc para uma disciplina científica com métricas de validação e reprodutibilidade.
• Segurança: Facilita a detecção precoce de comportamentos indesejados (como reward hacking, recusas perigosas ou exploração de loopholes) antes da implantação em larga escala.
• Padronização: Cria uma linguagem comum para a comunidade de pesquisa, permitindo a comparação direta de resultados entre diferentes laboratórios e avaliações.

Em suma, o artigo estabelece as bases para uma nova era de avaliação de sistemas de IA, onde a análise de logs não é apenas um subproduto, mas uma ferramenta central para entender, melhorar e garantir a segurança dos modelos.