No Memorization, No Detection: Output Distribution-Based Contamination Detection in Small Language Models
Die Studie zeigt, dass die Methode CDD zur Erkennung von Datenkontamination in kleinen Sprachmodellen (70M–410M Parameter) in den meisten getesteten Szenarien nur zufällige Ergebnisse liefert und dabei von etablierten Wahrscheinlichkeitsmethoden wie Perplexity und Min-k% Prob übertroffen wird, da ihre Wirksamkeit kritisch von der Entstehung wortwörtlicher Memorierung abhängt.