OTTER: A Red-Teaming System for Toxicity-Evading Jailbreak Prompt Optimization
OTTER est un cadre de red-teaming en boîte noire qui démontre la fragilité des défenses de LLM basées sur la toxicité en optimisant les prompts pour échapper à la détection par des changements de tokens minimaux, atteignant ainsi une augmentation significative des taux de réussite d'attaque et offrant des informations exploitables pour le durcissement des classifieurs.