Exploring the Reasoning Depth of Small Language Models in Software Architecture: A Multidimensional Evaluation Framework Towards Software Engineering 2.0
Diese Studie stellt einen multidimensionalen Evaluierungsrahmen vor, der zeigt, dass zwar Small Language Models unter 3 Milliarden Parametern für die Generierung von Architekturentscheidungen stark von Fine-Tuning profitieren, jedoch erst Modelle oberhalb dieser Schwelle robuste Zero-Shot-Fähigkeiten aufweisen und eine hohe semantische Vielfalt oft mit Halluzinationen einhergeht.