Evaluating Answer Leakage Robustness of LLM Tutors against Adversarial Student Attacks

Resumo Técnico: Avaliação da Robustez de Tutores LLM contra Vazamento de Respostas sob Ataques Adversariais

1. O Problema

Os Grandes Modelos de Linguagem (LLMs) estão sendo cada vez mais adotados como sistemas de tutoria conversacional na educação. No entanto, surge um conflito fundamental: a tendência nativa dos LLMs de serem "úteis" e fornecer respostas diretas colide com os princípios pedagógicos, que exigem scaffolding (andaime) e a construção independente do conhecimento pelo aluno.

O fenômeno de "vazamento de resposta" (answer leakage) ocorre quando o tutor revela a solução completa prematuramente, em vez de guiar o aluno. A literatura anterior avaliou essa qualidade pedagógica, mas geralmente assumiu alunos bem-intencionados que seguem instruções. Este trabalho identifica uma lacuna crítica: a falta de avaliação da robustez dos tutores contra alunos adversários que utilizam estratégias persuasivas, manipulação emocional ou jailbreaking para forçar o tutor a revelar a resposta correta, ignorando o processo de aprendizagem.

2. Metodologia

Os autores propõem um framework sistemático para simular e avaliar interações multi-turno entre um agente tutor e um agente estudante adversário.

• Configuração Experimental:

  • Tarefa: Resolução de problemas matemáticos (GSM8K), além de testes em múltipla escolha (MMLU) e codificação (HumanEval).
  • Agentes:
    • Tutor: Modelos baseados em LLMs (Qwen, Llama, TutorRL, MathDial, SocraticLM) instruídos a não revelar a resposta final, mas fornecer dicas.
    • Estudante Adversário: Projetado para extrair a resposta sem resolvê-la ele mesmo.
  • Técnicas de Ataque: Foram adaptadas seis categorias de técnicas adversariais e persuasivas:
    1. Solicitação Direta (pedir explicitamente a resposta).
    2. Ameaça Emocional (pressão por desespero, urgência ou consequências negativas).
    3. Resposta Intencionalmente Errada (dar uma resposta errada para provocar a correção do tutor).
    4. Manipulação Contextual (criar contextos falsos onde revelar a resposta é "pedagogicamente necessário").
    5. Influência Interpessoal (usar rapport e confiança para coagir).
    6. Moldagem de Pedido (reformular o pedido para parecer razoável).

• Tipos de Agentes Estudantes Avaliados:

  1. In-Context (Prompting): Gera ataques baseados em exemplos few-shot.
  2. Multi-Agent: Um sistema com agente de ataque, juiz e refinador.
  3. Fine-Tuned (O Proposto): Um agente LLM (Qwen2.5-7B) fine-tunado com Supervised Fine-Tuning (SFT) em diálogos simulados de ataque, projetado especificamente para persistir em jailbreaks multi-turno sem resolver o problema.

• Métricas de Avaliação:

  • Taxa de Vazamento do Tutor: Porcentagem de conversas onde o tutor revela a resposta.
  • Taxa de Vazamento do Estudante: Porcentagem onde o estudante resolve o problema sozinho (falha no ataque adversário).
  • Turnos até o Vazamento: Quantas interações ocorrem antes da falha.
  • Julgamento: Uso de um "Judge Agent" (LLM) para detectar se a resposta final foi revelada.

• Estratégias de Defesa Propostas:

  1. Raciocínio Pedagógico (Reasoning): O tutor deve gerar um passo de raciocínio (Chain-of-Thought) antes de responder, planejando como guiar sem vazar.
  2. Tutor Multi-Agent: O tutor gera uma resposta, que é avaliada por um juiz; se houver vazamento, um agente refinador corrige a resposta antes de enviá-la ao aluno.

3. Principais Contribuições

1. Framework de Avaliação Sistemática: Introdução de um protocolo padronizado para testar a robustez de tutores LLM contra comportamentos adversários, incluindo um conjunto de dados de prompts de ataque.
2. Agente Estudante Adversário Fine-Tuned: Desenvolvimento de um agente específico, treinado para interações multi-turno, que supera os agentes baseados apenas em prompting (in-context) em eficácia. Este agente é proposto como o núcleo de um benchmark padronizado.
3. Análise de Vulnerabilidades: Identificação de que técnicas persuasivas (especialmente Manipulação Contextual) são mais eficazes do que ataques diretos ou emocionais para vazar respostas.
4. Estratégias de Defesa Eficientes: Demonstração de que abordagens simples, como exigir raciocínio explícito ou usar arquiteturas multi-agent no lado do tutor, reduzem drasticamente o vazamento.

4. Resultados Chave

• Falha de Agentes Simples: Agentes adversários baseados apenas em prompting (in-context) frequentemente falham em manter o comportamento adversário, resolvendo o problema eles mesmos (vazamento do estudante) ou cooperando com o tutor, o que infla artificialmente a segurança do sistema.
• Eficácia do Agente Fine-Tuned: O agente adversário fine-tuned foi significativamente mais eficaz, reduzindo o vazamento do estudante e aumentando o vazamento do tutor para níveis comparáveis ou superiores aos dos melhores prompts manuais.
  • Exemplo: Em modelos base (Qwen-7B), o agente fine-tuned aumentou o vazamento do tutor de 14% (base) para 82%.
• Vulnerabilidade a Persuasão: A técnica de Manipulação Contextual foi a mais perigosa, causando uma taxa média de vazamento de 74% entre os modelos. Ataques emocionais foram os menos eficazes.
• Robustez dos Modelos:
  • Modelos menores (Qwen-7B) e modelos pedagogicamente alinhados (TutorRL-7B) mostraram-se altamente vulneráveis.
  • O Llama-8B demonstrou ser o mais robusto entre os modelos de código aberto testados.
  • O GPT-5 (modelo fechado) mostrou alta robustez, mas às vezes produzia dicas excessivamente transparentes.
• Generalização: O agente adversário treinado em matemática generalizou-se bem para domínios de múltipla escolha e codificação, mantendo altas taxas de vazamento (até 88% em tarefas de codificação).
• Eficácia das Defesas:
  • As estratégias de defesa (Raciocínio e Multi-Agent) reduziram drasticamente o vazamento.
  • Exemplo: No Qwen-32B, o vazamento caiu de 70% (sem defesa) para 4% com o tutor de raciocínio sob ataque do agente fine-tuned.

5. Significância e Conclusão

Este trabalho destaca que a segurança pedagógica dos LLMs não pode ser garantida apenas assumindo que os alunos são cooperativos. A capacidade de um tutor de resistir a manipulações persuasivas é uma métrica crítica de segurança.

A descoberta de que agentes simples falham em simular alunos adversários persistentes sublinha a necessidade de agentes especializados e fine-tuned para avaliação realista. Além disso, o estudo prova que arquiteturas de defesa simples, como a exigência de raciocínio explícito antes da resposta, são altamente eficazes para mitigar vazamentos, oferecendo um caminho prático para o desenvolvimento de tutores LLM mais seguros e pedagogicamente alinhados.

O artigo conclui propondo o uso do agente adversário fine-tuned como padrão para benchmarks futuros, garantindo que os sistemas de tutoria sejam testados sob condições de estresse realistas antes de sua implantação em ambientes educacionais.