Attribution Consistency in Fine Tuning Makes Refusal Less Sensitive to Paraphrase in a Small Tool Using LLM Agent
Diese vorläufige Studie zeigt, dass die Anwendung von Latent Attribution Regularization (LAR) während des Fine-Tunings die Attributionskonsistenz eines kleinen, werkzeugnutzenden LLM-Agenten verbessert, wodurch dessen Sensitivität gegenüber paraphasierten schädlichen Anfragen reduziert und die Entscheidungen zur Verweigerung stabilisiert werden, ohne die Detektionsleistung signifikant zu beeinträchtigen, wenngleich das Risiko einer übermäßigen Verweigerung besteht, falls sie auf harmlose Beispiele angewendet wird.